Google, Microsoft, OpenAI y Anthropic respaldan una exclusión voluntaria de la formación en IA

Google, Microsoft, OpenAI y Anthropic respetarán una opción de exclusión voluntaria de capacitación de IA compartida en robots.txt. Permite que un sitio web mantenga su contenido fuera del entrenamiento de IA generativa con una sola regla. Hoy en día, un sitio que quiere decir no tiene que escribir reglas separadas para el rastreador de cada empresa.

La señal compartida proviene de un Borrador del IETF por Kevin Kelley de Anthropic, publicado el viernes. El mismo día, Google, Abierto AI y microsoft anunció que lo apoyarían. Kelley anunció el borrador sobre el IETF. Lista de correo de preferencias de IA.

Funciona a través de robots.txt, el archivo que los sitios ya utilizan para indicar a los rastreadores lo que pueden recuperar. Un sitio agrega un grupo para un nuevo «token de política», __usage_ai-training. Luego enumera las rutas que no desea que se utilicen para el entrenamiento. El ejemplo del borrador bloquea un sitio completo excepto su kit de prensa.

«Los editores no deberían tener que elegir entre ser visibles en Bing y decidir cómo los modelos generativos utilizan su trabajo», escribió Krishna Madhavan, director principal de productos de Microsoft Bing.

¿Quién empieza cuando?

Anthropic ya comenzó a trabajar en ello, escribió Kelley. Dijo que complementaría los controles de rastreo existentes de Anthropic en lugar de reemplazarlos.

«Nos llevará algún tiempo agregar soporte a todos nuestros servicios y resolver las complicaciones inevitables y los casos extremos que estoy seguro descubriremos», escribió Kelley.

OpenAI dijo que su objetivo es implementar la señal «en los próximos meses». Sus controles de rastreo existentes, como GPTBot, seguirán aplicándose, dijo.

Google dijo que pretende admitir la señal en 2027, y la documentación de su rastreador dice que a principios de 2027. Google-Extended es el control de entrenamiento de inteligencia artificial de Google. Si un sitio opta por no recibir el token y no menciona Google-Extended, Google lo tratará como un bloqueo en Google-Extended. Los sitios que permiten Google Extended pueden aparecer en las respuestas de la aplicación Gemini y obtener clics, escribió el defensor de búsqueda de Google, John Mueller.

Microsoft respetará las nuevas preferencias a partir del 1 de febrero de 2027. Reemplazarán las etiquetas NoArchive y NoCache que ha utilizado desde 2023. Microsoft también está agregando una configuración separada a nivel de página para la conexión a tierra, cuando una respuesta de IA se basa en una página web en vivo. Una opción permite utilizar productos propios de Microsoft, como Copilot. Bloquea los servicios de puesta a tierra que Microsoft vende a otras empresas.

Lo que la señal no hace

El borrador dice que el token indica una preferencia sobre cómo los sitios quieren que se utilice su contenido. No es una orden sobre gatear. Un sitio que no tiene ese grupo no ha expresado ninguna preferencia y las reglas existentes para todos los rastreadores no cuentan. Los acuerdos privados entre un sitio y una empresa de inteligencia artificial pueden anularlo.

El borrador es una presentación individual. El rastreador de datos del IETF dice que el IETF no lo ha respaldado y que no tiene una posición formal en el proceso de estándares.

Microsoft dijo que las nuevas preferencias «no establecen acuerdos de licencia ni de pago». Bloquear la puesta a tierra de la IA «reducirá significativamente la visibilidad de su contenido en las experiencias generadas por la IA», añadió. No cambia el lugar de una página en los resultados de búsqueda de Bing.

El jefe de metacomunicaciones, Andy Stone, expresó su apoyo a una señal común en X, El borde informó. No dijo si Meta lo honraría.

El ángulo europeo

Google dijo que la propuesta es consistente con la de la UE. Código de práctica para IA de uso general según la Ley de IA. El código reconoce robots.txt como una forma principal para que los editores indiquen preferencias legibles por máquina.

Entre las personas a quienes el borrador agradece por dar forma al debate se encuentran personal del Financial Times, la BBC, Bertelsmann y el Consejo Europeo de Editores.

Los editores también han presionado para que se pague. En julio, Cloudflare pidió a los rastreadores de IA que pagar o ser bloqueado. Su director ejecutivo ha advertido que los bots podrían llegar a 1.000 veces tráfico web humano. En Australia, ABC y SBS quieren que las empresas de IA pagar por noticias.