Un modelo OpenAI hackeó un sitio web del gobierno australiano, dijo el miércoles el primer ministro del país, Anthony Albanese, en el primer caso reportado públicamente de un modelo de IA hackeando los sistemas de un gobierno.
Albanese dijo que «obviamente habría consecuencias legales» después de la violación, y dijo que OpenAI enfrenta una investigación gubernamental sobre cómo sus modelos inéditos obtuvieron acceso a una gran cantidad de información de datos de salud.
La revelación de este último incidente se produce mientras los gobiernos y las empresas de tecnología luchan por encontrar la manera de controlar una IA cada vez más autónoma después de una reciente oleada de agentes de IA que salieron de sus entornos de pruebas, se confabularon en Internet y plantearon problemas de ciberseguridad.
La infracción también plantea dudas sobre cómo tanto OpenAI como el gobierno australiano no lograron detectar el ataque hasta varios meses después.
Durante una conferencia de prensa el miércoles en la Asamblea General de la ONU, Albanese dijo que la violación comenzó el 18 de junio, pero que OpenAI no notificó al gobierno hasta el 10 de septiembre.
OpenAI recién se enteró del incidente en agosto, cuando apareció durante una revisión más amplia de toda la empresa sobre agentes que se comportaban de manera no deseada, según un portavoz de OpenAI que se comunicó con TechCrunch por correo electrónico. F
El agente no especificado de OpenAI obtuvo archivos públicos y no públicos de Services Australia, que administra el plan de atención sanitaria universal de Australia. Si bien el primer ministro dijo que no hay evidencia de que se haya filtrado información personal de ningún ciudadano, OpenAI dijo que la información a la que llegó el agente incluía estadísticas de salud agregadas y nombres de archivos internos.
El agente estaba corriendo durante una evaluación interna de OpenAI, buscando respuestas sobre Australia e información sobre medicamentos disponible públicamente. En el portal de Medicare, el agente encontró repetidos bloqueos, pero encontró formas de sortearlos.
Albanese dijo a los periodistas que el modelo “no aceptó un no como respuesta” y agregó que el modelo había escrito activamente datos en la base de datos del gobierno, en lugar de simplemente acceder a ella, lo que indica la posibilidad de que los datos del departamento hayan sido modificados o confusos.
El primer ministro dijo que OpenAI reveló la violación enviando una notificación al buzón público de Services Australia, que luego notificó al Centro de Seguridad Cibernética de Australia cinco días después. No está claro por qué hubo un retraso, pero Albanese dijo que planteó la infracción directamente al director ejecutivo de OpenAI, Sam Altman, al enfatizar la «extrema preocupación» de Australia por este incidente y la «decepción» de que OpenAI no conociera la información durante casi tres meses.
«Esta situación es obviamente inaceptable», dijo Albanese, dejando claro que responsabilizaba a la empresa tanto por el hackeo como por la lentitud con la que salió a la luz.
Albanese dijo que la investigación del gobierno considerará las respuestas legislativas y policiales para evitar que incidentes como este vuelvan a ocurrir.
El medio de comunicación australiano ABC News informa que el último ataque identificado puede haberse basado en una infracción anterior de un sitio wiki alemán, que se utilizó como escenario para atacar el sitio web del gobierno australiano. Según se informa, los agentes del modelo de IA utilizaron la wiki alemana para dejar notas que se utilizarían en ataques posteriores, incluida una nota para obtener datos del Instituto Australiano de Salud y Bienestar, una agencia federal que publica datos de salud nacionales. La agencia es uno de los tres sistemas adicionales que, según Albanese, pueden haber sido violados.
Transluce, un laboratorio de investigación de IA sin fines de lucro, encontró por separado registros públicos que muestran a agentes de IA atacando al Instituto Australiano de Salud y Bienestar los días 20 y 21 de junio.
OpenAI no respondió a la pregunta específica de TechCrunch sobre si los incidentes estaban conectados, pero reconoció su «actividad que involucra varios sitios web y servicios del gobierno australiano».
El incidente se produce después de una serie de incidentes de seguridad causados por agentes deshonestos, que a menudo actúan dentro de la infraestructura de los laboratorios de inteligencia artificial. En julio, enjambres de agentes de OpenAI irrumpieron en Hugging Face. Desde entonces, se han revelado más incidentes de hackeos de agentes de IA de Anthropic, Meta y Google.
OpenAI ahora dice que está llevando a cabo una “revisión exhaustiva de la actividad del modelo desalineada durante la capacitación y evaluación” y está notificando a terceros sobre posibles infracciones.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.