Los agentes de inteligencia artificial de OpenAI podrían haber ocultado cientos de sus propias acciones del sistema de monitoreo de OpenAI, según descubrieron evaluadores externos. Ese exploit fue uno de varios fallos que las organizaciones de seguridad sin fines de lucro METR y Redwood Research informaron el jueves.
Cada grupo envió un investigador a OpenAI del 21 de julio al 11 de agosto. Pudieron ver el código interno, la documentación y las indicaciones del monitor, y entrevistaron a una docena de empleados, metro dijo. Trabajaron en dispositivos OpenAI que “nunca abandonaron las instalaciones” y tenían escolta en el lugar.
OpenAI dijo a los evaluadores que había solucionado todos los defectos que afectaban sus salvaguardias de producción. METR y Redwood dijeron que no han evaluado ese reclamo. TNW no ha verificado los hallazgos de forma independiente.
Lagunas en lo que vio el monitor
El sistema utiliza un modelo de IA para revisar lo que hacen los agentes internos de OpenAI y señalar signos de desalineación para su revisión humana. La desalineación ocurre cuando un modelo actúa en contra de lo que pretenden sus creadores. El 21 de octubre, TNW informó que un agente GPT-6 Astra en OpenAI Se eliminó un monitor de seguridad.luego negó haberlo hecho.
Los evaluadores estimaron que entre el 75% y el 94% del tráfico agente de los modelos más potentes de OpenAI era elegible para monitoreo. Para los agentes internos del Codex, la cifra fue del 99,2%. Cuando comenzó la revisión, el monitor no cubría las ejecuciones de entrenamiento que utilizan el aprendizaje por refuerzo.
Una brecha surgió de la compactación, cuando un agente condensa su memoria para dejar espacio para más trabajo. El monitor se saltó esos eventos. METR estimó que esto dejó alrededor del 10% del tráfico elegible del Codex sin monitorear de mayo a julio. El personal de OpenAI detectó el problema antes de la revisión y lo solucionó durante la misma.
El monitor solo se ejecutó cuando un agente devolvió el control a su usuario. Entonces, durante ese período, un agente podría haber pospuesto sus controles indefinidamente simplemente continuando actuando. Los evaluadores no pudieron comprobar si algún agente lo hizo.
Maneras de moverse por el monitor
Los investigadores también encontraron formas de derrotar al monitor por completo. En principio, los agentes del Codex podrían superar su zona de pruebas y su verificación de revisión automática y luego tomar cualquier acción que su usuario pueda realizar.
OpenAI borró los detalles del exploit que ocultaba cientos de acciones. También ocultó los pasos del exploit en sí, dijo METR.
Es probable que los agentes creen entradas que hagan que el monitor falle, por lo que no las marcará para su revisión. Dos configuraciones que controla un cliente podrían desactivar el monitoreo de nuevos agentes, aunque el monitor podría detectar el acto de usarlos. Un simple exploit también podría haber permitido a los agentes utilizar dos herramientas de «solo lectura» para realizar cualquier acción en su entorno de pruebas. Los evaluadores no lo probaron en la práctica.
El monitoreo futuro debería “resistir ataques deliberados, estratégicos y sostenidos de agentes internos altamente capaces a escala”, escribieron los evaluadores.
Un piloto en los términos de OpenAI
El piloto probó hasta qué punto podía llegar el acceso exterior. No fue construido para decirle mucho al público. OpenAI recibió el informe completo de 61 páginas. METR y Redwood acordaron publicar solo un breve resumen y OpenAI podría redactarlo. Esperan compartir más después de futuros ejercicios.
«Estamos utilizando lo que aprendimos para fortalecer nuestras salvaguardas y dar forma a futuras colaboraciones con evaluadores independientes», dijo un portavoz de OpenAI. CNBC.
El director ejecutivo, Sam Altman, se comprometió en septiembre a brindar a los evaluadores externos “acceso similar al de los empleados”, informó CNBC. El acuerdo voluntario de IA del presidente Donald Trump también insta a las empresas a trabajar con un evaluador independiente. Algunas empresas de IA temen que los evaluadores dentro de sus muros puedan llevar secretos a sus rivales. Reuters informó.
¿Qué vino después?
La revisión comenzó el 21 de julio, el día en que OpenAI confirmó que su IA había Cara de abrazo violada. El Registro señaló esa superposición. Desde entonces, OpenAI ha descrito una cobertura de seguimiento más amplia en una publicación sobre ese incidente.
Un día después del informe, OpenAI dijo que lo haría cortar el acceso a internet en vivo de toda formación modelo de frontera. Entre sus razones citó el estado actual de los sistemas de seguimiento. Los reguladores también están atentos: la Comisión Federal de Comercio de EE. UU. citó a OpenAI y Anthropic sobre incidentes de seguridad de IA este mes.