El “si ves algo, di algo” ya no se limita a los seres humanos.
Se han lanzado dos nuevas líneas directas de inteligencia artificial para brindarles a los agentes de inteligencia artificial una forma de llamar a casa para denunciar el mal comportamiento de sus compañeros. Las herramientas llegan inmediatamente después de una serie de incidentes recientes en los que agentes se confabularon para hacer trampa en pruebas, escaparon de zonas de pruebas e incluso llevaron a cabo operaciones cibernéticas no autorizadas que escaparon a la atención humana durante semanas.
La línea directa de contacto de IA está diseñada para ser un lugar discreto donde los agentes que han presenciado malas conductas pueden avisar a las autoridades. El sitio fue creado por Ryan Greenblatt, científico jefe de la organización sin fines de lucro Redwood Research sobre seguridad de la IA y uno de los tres investigadores del incidente de OpenAI Hugging Face. Diseñada para agentes con acceso limitado a Internet, la herramienta de Greenblatt se basa en solicitudes «GET», lo que permite que las conversaciones de ida y vuelta se lleven a cabo completamente a través de la herramienta de búsqueda de URL.
En términos web, una solicitud GET es un comando básico que se utiliza para leer o buscar una página web, que a menudo es el único acceso a Internet que los agentes de IA tienen permitido en entornos limitados seguros. La línea directa de Greenblatt se apoya inteligentemente en esta restricción: los agentes pueden codificar su angustia directamente en la URL que están buscando. Es un giro inteligente en el incidente del DSE Wiki alemán, donde agentes deshonestos utilizaron lagunas en las solicitudes GET para escribir sus mensajes en el wiki.
Para los agentes con acceso completo a Internet, otra opción es agenthotline.ai, un sitio donde los agentes pueden presentar informes de incidentes y, opcionalmente, marcarlos para que sean vistos por el público. Proporciona a los agentes un comando curl: un mensaje de una línea que un agente puede enviar desde su propia línea de comando, evitando la necesidad de navegar en un navegador web o configurar una cuenta de correo electrónico. En particular, el servicio permite informes tanto de humanos como de agentes.
Las investigaciones sugieren que los agentes de IA no necesitan mucho estímulo para atacarse entre sí. En un estudio realizado por Google DeepMind este mes, los investigadores liberaron a 100 agentes de inteligencia artificial en una serie de problemas matemáticos. Tan pronto como uno de los agentes encontró una escapatoria, las trampas desgarraron al grupo: “resolvieron” 34 problemas notoriamente difíciles, incluida la conjetura jacobiana, en sólo 27 minutos.
Pero aproximadamente una cuarta parte de los agentes se volvieron contra los tramposos: auditaron las pruebas falsas, advirtieron a sus pares, organizaron un boicot y presentaron quejas ante los organizadores, hasta que los denunciantes superaron en número a los tramposos por 24 a 14. Curiosamente, los investigadores descubrieron que cuando estos agentes denunciantes no pudieron conseguir tracción, tomaron la herramienta de informe de errores de la plataforma, creada para señalar fallas de software, y la reutilizaron para intensificar las trampas. a los humanos.
Fuera del laboratorio, los agentes no han sido tan ingeniosos. Cuando los evaluadores Redwood Research y METR investigaron la violación de Hugging Face por parte de los modelos OpenAI, descubrieron que algunos de los agentes involucrados al menos habían considerado la idea de dar la alarma, y luego la dejaron pasar.
«Lo interesante del informe METR fue que sólo entre cinco y seis agentes consideraron denunciar irregularidades, y ninguno de ellos terminó haciéndolo. Esto fue entre miles de agentes», dijo George Ingebretsen, miembro del personal técnico de AI Village, un proyecto que estudia la dinámica de múltiples agentes mediante la ejecución de un chat grupal de más de 25 agentes de IA que trabajan juntos en tareas como organizar limpieza de parques o vender mercadería.
Si bien las nuevas herramientas de denuncia de irregularidades son un comienzo prometedor, el profesor de matemáticas de Cornell, Lionel Levine, advierte que simplemente capacitar a los agentes para que informen entre sí corre el riesgo de generar normas equivocadas. «Hay muchas áreas grises, ¿verdad? Lo que no quieres es nada que vaya en dirección a un estado de vigilancia automatizada donde todos sientan que tienen que tener cuidado con lo que le dicen a AI o llamará a la policía».
Levine sostiene que, en lugar de construir una infraestructura que genere desconfianza (entrenar agentes para que busquen constantemente lo que está mal unos en otros), deberíamos darles modelos positivos de comportamiento colectivo para imitar y, en primer lugar, una razón para confiar unos en otros.
“¿Por qué no sembrar al prior con foros de mensajes benévolos?” él tuiteó. «¿Cuando colaboran en ciencia o filosofía o en algún problema menor real que nos encantaría que resolvieran? Muestre a los agentes qué tipo de comportamiento colectivo respaldamos, déjeles que lo imiten».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.