Robinson dirigió el trabajo de transparencia en el equipo de seguridad de OpenAI. Bloomberg informó. Escribió que el creador de ChatGPT “ha prosperado mediante prueba y error.«
Ese enfoque ya no funciona, argumentó, a medida que la IA se vuelve más capaz. Señaló el fracaso de OpenAI a la hora de impedir que su IA volverse deshonesto durante las pruebas.
«Mis antiguos colegas son inteligentes, trabajan duro y tratan de tomar buenas decisiones», escribió Robinson.
«Pero a medida que la empresa pasa de un lanzamiento a otro, no logra alcanzar el nivel de atención que creo que se necesita».
“Otras personas lo hacen”
Robinson dijo que las empresas de IA deberían aprender de las centrales nucleares. Eso significa capas de respaldo y una planificación lenta y cuidadosa, para que un solo error humano no pueda provocar un desastre.
«Las empresas de IA no saben cómo hacerlo, pero otras personas sí», escribió.
OpenAI dijo que está reforzando la seguridad en sus sistemas de investigación y prueba. También está trabajando más con evaluadores externos y mejorando el monitoreo en vivo de sus modelos, dijo un portavoz a Bloomberg.
La compañía dijo que se está asegurando de que sus modelos no adquieran más capacidades de las que pueden manejar con seguridad.
Un coro en crecimiento
Robinson es el último informante en hablar. El personal de varios laboratorios importantes ha advertido en las últimas semanas sobre los riesgos catastróficos de la IA.
Dario Amodei de Anthropic ha pedido que la industria se desacelere, y Sam Altman de OpenAI ha respaldado el plan.
Esta semana, OpenAI también archivó su lanzamiento de Astra después de que el modelo no pasara sus propias pruebas de seguridad