Los rastreadores de IA causan demandas de ancho de banda de Wikimedia Commons para aumentar el 50%

La Fundación Wikimedia, la organización paraguas de Wikipedia y una docena de otros proyectos de conocimiento de crowdsourcing, dijo el miércoles que el consumo de ancho de banda para las descargas multimedia de Wikimedia Commons ha aumentado en un 50% desde enero de 2024.

La razón, el equipo escribió en una publicación de blog el martes, no se debe a la creciente demanda de los humanos sedientos de conocimiento, sino de raspadores automatizados y hambrientos de datos que buscan entrenar modelos de IA.

«Nuestra infraestructura está construida para mantener picos de tráfico repentinos de los humanos durante eventos de alto interés, pero la cantidad de tráfico generado por los bots raspadores no tiene precedentes y presenta riesgos y costos crecientes», se lee en la publicación.

Wikimedia Commons es un repositorio gratuito de imágenes, videos y archivos de audio que están disponibles bajo licencias abiertas o de otro modo están en el dominio público.

Cavando hacia abajo, Wikimedia dice que casi dos tercios (65%) del tráfico más «costoso», es decir, el más intensivo en los recursos en términos del tipo de contenido consumido, fue de los bots. Sin embargo, solo el 35% de las vistas de página generales provienen de estos bots. La razón de esta disparidad, según Wikimedia, es que el contenido con frecuencia accesible se mantiene más cerca del usuario en su caché, mientras que otro contenido de menor frecuencia se almacena más lejos en el «centro de datos central», que es más costoso para servir contenido. Este es el tipo de contenido que los bots suelen buscar.

«Si bien los lectores humanos tienden a centrarse en los bots específicos, a menudo similares, de los bots de rastreadores, tienden a 'leer a granel', un mayor número de páginas y visitar también las páginas menos populares», escribe Wikimedia. «Esto significa que es más probable que este tipo de solicitudes se envíen al centro de datos central, lo que lo hace mucho más costoso en términos de consumo de nuestros recursos».

Lo largo y corto de todo esto es que el equipo de confiabilidad del sitio de la Fundación Wikimedia está teniendo que pasar mucho tiempo y recursos que bloqueen los rastreadores para evitar la interrupción para los usuarios regulares. Y todo esto antes de considerar los costos de la nube que enfrenta la fundación.

En verdad, esto representa parte de una tendencia de rápido crecimiento que amenaza la existencia misma de Internet abierto. El mes pasado, el ingeniero de software y el defensor de código abierto Drew Devault lamentó el hecho de que los rastreadores de IA ignoran los archivos «robots.txt» que están diseñados para evitar el tráfico automatizado. Y el «ingeniero pragmático» Gergely Orosz también se quejó la semana pasada de que los raspadores de IA de compañías como Meta han generado demandas de ancho de banda para sus propios proyectos.

Si bien la infraestructura de código abierto, en particular, está en la línea de disparo, los desarrolladores están luchando con «inteligencia y venganza», como escribió TechCrunch la semana pasada. Algunas compañías tecnológicas también están haciendo su parte para abordar el problema: Cloudflare, por ejemplo, recientemente lanzó AI Labyrinth, que utiliza contenido generado por IA para rastreadores lentos.

Sin embargo, es en gran medida un juego de gato y ratón que finalmente podría obligar a muchos editores a agacharse para cubrir los inicios de sesión y los paredes de pago, en detrimento de todos los que usan la web hoy.