OpenAI incorpora la seguridad a la investigación a medida que el jefe de seguridad sale


El jefe de sistemas de seguridad de OpenAI, Johannes Heidecke, dejará la empresa luego de una reestructuración interna que fusiona sus equipos de seguridad e investigación bajo un solo líder, informó Wired el viernes. El director de investigación, Mark Chen, dijo al personal en un memorando que los equipos de seguridad ahora reportarían a Mia Glaese, cuyo título se ha ampliado a vicepresidente de investigación y seguridad, un puesto recién creado.

Saachi Jain ha sido nombrado jefe interino de sistemas de seguridad mientras la empresa busca un sustituto permanente para Heidecke. Es la segunda vez en menos de dos años que OpenAI integra su organización de seguridad en una estructura que depende de un líder de investigación.

El mandato de Heidecke

Heidecke se unió a OpenAI en 2021 como analista de seguridad de IA y asumió el cargo de jefe de sistemas de seguridad en 2024, reemplazando a Lilian Weng. Su trabajo abarcó la alineación de modelos, los sistemas de recompensa basados ​​en reglas y las evaluaciones de preparación de la empresa para capacidades de modelos potencialmente peligrosas.

El 💜 de la tecnología de la UE

Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de IA cuestionable. Es gratis, todas las semanas, en tu bandeja de entrada. Regístrate ahora!

Chen agradeció a Heidecke en su nota a los empleados, diciendo que es «importante que nuestro trabajo de seguridad se integre con el desarrollo de modelos de vanguardia, con un papel más temprano y más directo en la configuración de decisiones clave sobre modelos, productos y lanzamientos». Heidecke es el último de una serie de altos cargos de seguridad que abandonaron o se reorganizaron fuera de la empresa en los últimos dos años.

Un patrón de disoluciones

El equipo Superalignment de OpenAI, anunciado en 2023 con una promesa del 20% del cómputo de la compañía, se disolvió en mayo de 2024 después de que sus codirectores, Ilya Sutskever y Jan Leike, partieran. Leike escribió públicamente al salir que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.

El equipo de AGI Readiness siguió en octubre de 2024, cuando su líder Miles Brundage renunció; El equipo Mission Alignment, sucesor de Superalignment, se disolvió en febrero de 2026 después de 16 meses, y su líder Joshua Achiam recibió el nuevo título de “jefe futurista”. En abril, OpenAI perdió a su jefe de producto, el jefe de Sora, y a su CTO empresarial en un solo día..

La partida de Heidecke se produce mientras más líderes de alto nivel continúan saliendo. Fidji Simo, jefe de aplicaciones de OpenAIrenunció este mes citando una recuperación médica prolongada.

El caso de la integración

El título ampliado de Glaese indica que OpenAI quiere que la seguridad siga siendo una prioridad incluso bajo la nueva estructura. La empresa lanzó una Beca de Seguridad el 6 de abrilinvitando a investigadores externos a realizar trabajos independientes de seguridad y alineación en el laboratorio.

La lógica declarada por Chen es que incorporar la seguridad dentro de la investigación le da un lugar en las decisiones del modelo desde el principio, en lugar de ser un punto de control final antes del lanzamiento. Los críticos argumentan que un equipo de seguridad que informa dentro de la investigación tiene menos independencia estructural y menos influencia para retrasar o bloquear un producto que uno que informa por separado.

Presión externa

La salida se produce mientras OpenAI navega por un escrutinio externo cada vez más intenso. Cuarenta y dos fiscales generales estatales han abierto una investigación en la empresa, entregando una citación sobre publicidad, datos de usuarios y políticas internas poco después de que solicitara de forma confidencial una cotización en el mercado de valores.

Lilian Weng, que ocupó el puesto de sistemas de seguridad antes de Heidecke, se unió a Thinking Machines Labs, la startup de IA fundada por la ex directora de tecnología de OpenAI, Mira Murati. Desde entonces, Murati ha advertido públicamente que la gobernanza de la IA está por detrás de la capacidad del modelo.



Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su funcionamiento, análisis, programas de afiliación y para mostrar publicidad personalizada basada en tu perfil y hábitos de navegación. Además, incluye enlaces a sitios externos con sus propias políticas de privacidad, las cuales podrás gestionar al visitarlos. Al hacer clic en Aceptar, consientes el uso de estas tecnologías y el tratamiento de tus datos para estos fines.   
Privacidad