Según él mismo admite, David Robinson es “una especie de cliché”: un empleado de una empresa líder en inteligencia artificial que lanza una terrible advertencia al renunciar a su trabajo.
En un ensayo publicado en The Atlantic, Robinson dijo que dirigió la redacción de los informes de seguridad que acompañaron a los principales lanzamientos de productos de OpenAI. También dijo que con tres años y medio en OpenAI, está «entre los empleados con más antigüedad en la empresa». Ahora renuncia porque, en su opinión, la “cultura de la empresa está rota”.
En cierto modo, los comentarios de Robinson hacen eco de los de Jacob Coxon, quien trabajó como investigador tanto en OpenAI como en Anthropic antes de renunciar y declarar que estas empresas están «jugando con nuestras vidas». Los comentarios de Coxon llevaron a un debate más amplio sobre la seguridad de la IA, y el director ejecutivo de Anthropic, Dario Amodei, reveló un plan para un desarrollo de la IA más cauteloso; Los ejecutivos de AI se reunieron con el presidente Donald Trump esta semana y firmaron lo que parecía ser un compromiso no vinculante escrito apresuradamente para implementar más controles de seguridad.
Pero en opinión de Robinson, el debate debe ir más allá de “normas específicas o nuevas leyes”, y abordar la cultura general de estas empresas. Y aunque gran parte de los informes sobre OpenAI se han centrado en cómo el director ejecutivo de la empresa, Sam Altman, perdió la confianza de sus antiguos colegas, el ensayo de Robinson sugiere que los problemas culturales de OpenAI son los mismos que los de Silicon Valley en general.
«OpenAI ha prosperado mediante prueba y error (lo que llama ‘implementación iterativa’), buscando problemas y mejorando sus barreras de seguridad en respuesta», escribió. «Pero este enfoque, por su propia naturaleza, garantiza fallas periódicas, y la escala de esas fallas está creciendo a medida que los sistemas se vuelven más capaces».
Señalando la reciente violación de los sistemas Hugging Face por parte de agentes de OpenAI, así como las continuas revelaciones de que OpenAI descubre más agentes deshonestos, Robinson argumentó: «Un entorno donde pueden suceder cosas como esta no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que podrían no hacer lo que queremos que hagan».
Dado el mayor riesgo, Robinson argumentó que las empresas de inteligencia artificial de vanguardia deben comenzar a operar “como plantas de energía nuclear o aeropuertos concurridos, con capas de redundancia y una planificación cuidadosa y que requiere mucho tiempo, para que el error humano ocasional e inevitable no abra la puerta al desastre”.
Pero Robinson dijo que durante su tiempo en OpenAI, «nunca se encontró con un colega que tuviera experiencia en hacer que aviones volaran de manera segura o que funcionaran reactores nucleares sin fundirse, o ayudar al sistema financiero a crecer sin colapsar».
En respuesta al ensayo de Robinson, el portavoz de OpenAI, Drew Pusateri, dijo que la compañía continúa mejorando sus medidas de seguridad.
«Nos estamos asegurando de que nuestros modelos no se vuelvan más capaces de lo que podemos gestionar y proteger de forma segura, y pausamos el entrenamiento o retenemos los modelos cuando necesitamos reducir la velocidad», dijo Pusateri en un comunicado. «Estamos realizando cambios significativos para fortalecer la seguridad en nuestros entornos de investigación y pruebas, entrenar modelos no solo para completar tareas sino también hacerlo de manera responsable, ampliar nuestro trabajo con evaluadores externos y mejorar el monitoreo en tiempo real para que podamos detectar y responder a comportamientos preocupantes en una fase más temprana del proceso de capacitación».
Más allá de pedir cambios en la cultura de OpenAI, Robinson también dijo que es hora de hacer preguntas más importantes sobre la alineación, algo que admitió que podría sonar «delicado», pero dijo que es fundamental ya que las «medidas actuales de las empresas sobre qué tan bien» los sistemas de IA «coinciden con los valores humanos son toscas».
«Cuanto más inteligentemente la industria permite que los modelos crezcan mientras estos problemas siguen sin resolverse, más peligrosa se vuelve nuestra situación», afirmó.
La partida de Robinson fue reportada por primera vez por Business Insider. En su ensayo, también reconoció que está siguiendo un paso aparentemente común en el manual de los denunciantes de IA: ha contratado una empresa de relaciones públicas. Pero insistió: “La decisión de hablar es sólo mía”.
“Quizás debería haberme quedado y luchar por cambios fundamentales en nuestra plantilla y cultura, pero en la práctica, mis colegas y yo estábamos tan ocupados corriendo que rara vez tuvimos la oportunidad de considerar grandes cambios, y mucho menos de realizarlos”, dijo Robinson. «Es por eso que llegué a la conclusión de que incentivos más fuertes para la seguridad, provenientes de fuera de la empresa, son una parte importante para hacer esto bien».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.