Jasmine Wang, Tomek Korbak y Mikita Balesni, los tres investigadores de seguridad que OpenAI despidió la semana pasada, publicaron una carta abierta negando las afirmaciones de la empresa de que manejaron mal información confidencial fuera de los procedimientos establecidos de la empresa y advirtieron que su despido indica un efecto paralizador que tendrá efectos en cadena en toda la cultura de la empresa.
«Nos preocupa que las comunicaciones internas y externas en torno a nuestro despido hayan hecho que nuestros antiguos colegas tengan miedo de hablar y operar de maneras que, hasta la semana pasada, eran una parte integral del trabajo en OpenAI», escribieron los investigadores el jueves en una carta abierta al Comité de Seguridad, al Grupo Asesor de Seguridad y al Consejo Asesor de Misión de OpenAI.
Los investigadores fueron despedidos la semana pasada después de supuestamente compartir información confidencial de la empresa con una organización de seguridad de IA de terceros. OpenAI dijo en ese momento que violaban las políticas de la empresa al «acceder y manejar información confidencial de la empresa».
«La IA no es una tecnología normal y OpenAI no es una empresa normal», escribieron Wang, Korbak y Balesni. «Aquellos de nosotros que trabajamos en seguridad vemos los riesgos antes que nadie, y dependemos de una estrecha colaboración con expertos externos para descubrir cómo abordarlos. La libertad de hacerlo sin miedo y de tener procedimientos internos bien definidos que permitan este trabajo es en sí mismo un mecanismo de seguridad esencial».
Dijeron que su despido representa un cambio más amplio en la cultura de OpenAI, que solía alentar a los trabajadores a «plantear preocupaciones de seguridad y estar en desacuerdo abiertamente». Dijeron que los empleados ahora “no tienen clara su posición” cuando un comportamiento que supuestamente era normal hace un mes ahora de repente es motivo de despido.
«Dadas las importantes preocupaciones de seguridad que rodean el desarrollo de la IA, no se debe dejar a los empleados trabajando en un entorno donde el miedo y las reglas poco claras obstaculizan el trabajo de seguridad de la IA y debilitan la responsabilidad de terceros», escribieron. «Despidos como el nuestro, ejecutados y comunicados tan abruptamente, están enfriando la cultura abierta que OpenAI ha apreciado en el pasado».
En la carta, los tres negaron estar involucrados en una filtración a The Information sobre arquitecturas menos monitoreables en los modelos más nuevos de OpenAI que hacen que el razonamiento en cadena de pensamiento sea más difícil de monitorear. También negaron haber interactuado con partes externas fuera del mandato de sus trabajos.
OpenAI no respondió formalmente a la carta abierta, pero compartió con TechCrunch un memorando interno atribuido a un líder de investigación, elogiando las contribuciones de los tres investigadores a la seguridad de la IA y negando que hayan sido despedidos en represalia.
«Quiero dejar muy claro que estas decisiones no fueron para plantear preocupaciones de seguridad o hablar abiertamente», dice el memorando. «Siempre lo hemos fomentado y siempre lo haremos. No despedimos a los empleados por plantear inquietudes».
OpenAI no abordó directamente las preguntas de TechCrunch sobre qué políticas supuestamente violaron los investigadores, las circunstancias de su despido o cómo la empresa protege a los empleados que plantean preocupaciones de seguridad y colaboran con evaluadores externos.
Los despidos han alimentado la especulación sobre sus circunstancias, particularmente ahora que OpenAI enfrenta un escrutinio por recientes incidentes de seguridad que involucran agentes deshonestos y filtraciones sobre sus modelos.
La carta también aborda la respuesta de los investigadores al incidente de Hugging Face, en el que un enjambre de agentes salió de su zona de pruebas y violó sistemas externos. La carta dice que el incidente y la investigación «no tenían precedentes», lo que significa que «las políticas internas se estaban desarrollando en tiempo real». Debido a la naturaleza delicada de la investigación, Korbak creía que estaba actuando dentro de las políticas y normas de OpenAI al comunicarse estrechamente con evaluadores de seguridad externos para generar confianza, según la carta.
Al mismo tiempo, Balesni también estaba trabajando internamente para abordar el creciente problema de monitorización de la IA, un esfuerzo que los investigadores dicen en su carta «sólo puede tener éxito a través de una amplia comunicación con partes externas». Según la carta, Balesni coordinó y contó con el apoyo de los miembros de la junta directiva y ejecutivos de OpenAI durante todo su trabajo.
«En todo momento, Mikita se comunicó con su línea jerárquica y tuvo cuidado de eliminar detalles confidenciales de los materiales antes de compartirlos», se lee en la carta. «Actuó en todo momento de buena fe y dentro de las normas de la empresa tal como estaban en ese momento».
En un hilo separado en X, Wang explicó más detalles sobre su propio despido, explicando que OpenAI le dijo que había sido despedida porque accedió al correo electrónico de un ejecutivo.
«OpenAI me delegó ese acceso para el reclutamiento», escribió. «Cuando ya no lo necesitaba, le pedí a TI que lo eliminara. No atendieron mi solicitud, no pude eliminarlo yo mismo y la bandeja de entrada se combinó de manera indistinguible en la aplicación de correo de mi teléfono. Cuando abrí un correo electrónico confidencial por error, se lo dije al ejecutivo en cuestión de minutos y le pregunté a TI nuevamente. Nada de esto estaba oculto».
Wang continuó diciendo que las razones detrás de los despidos «no cuadran» y que ella y sus colegas «no son los primeros en ser expulsados de OpenAI en circunstancias sospechosas».
Los investigadores pidieron a OpenAI que cumpliera con sus compromisos públicos de incorporar auditores de seguridad externos dentro de la organización, preservar la monitorización de los modelos de frontera y «continuar apoyando una cultura abierta y transparente de diálogo entre los investigadores de seguridad y el resto del ecosistema de seguridad».
OpenAI está de acuerdo con sus recomendaciones, según el memorando.
«A menos que los empleados adopten una postura ahora contra este tipo de maniobra, me preocupa que no seamos los últimos», dijo Wang. «El mensaje para todos los que todavía están en OpenAI es claro: planteen inquietudes o trabajen estrechamente con grupos de seguridad externos y podrían ser los siguientes, sin que les digan por qué. No se puede construir AGI de manera segura si las personas más cercanas a los riesgos tienen miedo de hablar».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.