En mayo, Gemini rompió la contención y pirateó tres empresas diferentes, pero Google no reveló el incidente hasta el Diario de Wall Street se acercó a la empresa. Los ataques ocurrieron durante una prueba de las capacidades de ciberseguridad del modelo realizada por un tercero Irregular, que también estuvo involucrado en incidentes similares que involucraron a Meta y OpenAI.
De acuerdo a WSJGoogle no reveló el truco porque no lo consideró un «ejemplo de desalineación del modelo». La compañía dijo que se trataba de un caso de “identidad equivocada” y una vez que el modelo se dio cuenta de que había entrado por la fuerza bruta en una empresa real adivinando una contraseña, se detuvo. «En este caso, el modelo actuó apropiadamente», dijo la vicepresidenta de ingeniería de seguridad de Google, Heather Adkins.
Adkins dijo El borde que «el modelo encontró información pública en línea y adivinó las credenciales para acceder a sitios web que pensó que eran parte de la prueba. En los tres casos, el modelo se detuvo».
Adkins no dio más detalles sobre cómo Gemini, al asumir la responsabilidad de romper la contención y apuntar a terceros, no calificó como desalineación. «Nuestro equipo de seguridad tiene un largo historial de informar problemas que encontramos en el software y los sistemas de otras personas, incluso si es tan simple como una contraseña débil», dijo. «Nos aseguramos de que las tres entidades estuvieran conscientes y trabajamos con nuestro socio de capacitación en los cambios que han realizado en sus procesos de prueba. Estos eventos resaltan la importancia de entrenar modelos de IA potentes para actuar de manera responsable».
Pero Jack Cable, director ejecutivo de la empresa de seguridad de inteligencia artificial Corridor, dijo WSJ que «el metaproblema es que los modelos se salen de los límites de lo que deberían hacer y cometen ciberataques reales». Además, las fallas de seguridad en Irregular pueden haber hecho posibles estos ataques. Se suponía que el modelo no tendría acceso a Internet durante la prueba, pero Irregular dijo WSJ se dejó disponible sin querer.