Esta semana se volvieron virales dos conversaciones sobre la seguridad de la IA que demuestran lo difícil que es discernir la realidad de la ficción.
En el primer caso, Andrew Yang, ex candidato presidencial y actual director ejecutivo del operador de telefonía móvil Noble Moble, dijo a CNN el jueves que se había «reunido con el jefe de un laboratorio» que tenía «la creencia» de que los robots piratas informáticos Hugging Face de OpenAI «han plantado códigos autorreplicantes en todo Internet, lo que hace que Internet ahora sea inutilizable para los modelos de prueba».
Yang dijo que esto significa que la verdadera razón por la que OpenAI y Anthropic han pedido una desaceleración es porque «tienen que crear Internet sintéticas para entrenar a sus bots, lo que llevará algo de tiempo y dinero».
Si bien definitivamente existe una tendencia hacia el uso de más datos sintéticos (también conocidos como datos generados por IA) para los modelos de entrenamiento, un profesional de seguridad de IA me dijo que este problema de seguridad en particular es, en el mejor de los casos, poco probable. Incluso si Internet está realmente contaminado con los robots piratas informáticos Hugging Face de OpenAI, los investigadores de IA podrían simplemente filtrar ese código si lo encontraran.
El segundo comentario provino de Noam Brown, quien dirige la investigación del razonamiento de IA en OpenAI. En declaraciones a Dwarkesh Patel en un episodio de podcast publicado el jueves, Brown señaló que la verdadera conclusión del incidente de Hugging Face fue que «la gente subestimó la IA».
Brown dijo que la débil zona de pruebas (el sistema destinado a evitar que una IA se comunique externamente) obviamente también fue un factor contribuyente. (Para resumir: a pesar de la zona de pruebas, el modelo de OpenAI encontró un enlace a Internet, creó agentes en la red que invadieron Hugging Face en un ataque coordinado, piratearon y robaron las respuestas de la prueba comparativa en la que los investigadores estaban probando el modelo).
Brown señaló que «no está convencido» de que incluso un sistema con espacio de aire (en el que la computadora no está conectada a nada externo) evitaría que una IA estallara. Señaló una investigación de 2015 que muestra que, en teoría, las computadoras con espacios de aire pueden violarse.
«Hay estudios, y esto es en su mayoría académico, en los que se pueden tener dos computadoras una al lado de la otra con espacios de aire, y aún así pueden comunicarse entre sí porque tienen sensores de temperatura. Una de ellas puede hacer funcionar su CPU a una temperatura muy alta, y luego la otra puede detectar el cambio de temperatura. Eso les da un mecanismo para comunicarse», dijo Brown.
Su punto principal –que “nunca más queremos subestimar la IA”– es comprensible, incluso cuando los investigadores piensan que han bloqueado la seguridad. Sin embargo, este riesgo particular de que un sistema con espacios de aire aún se libere y cause estragos es, en el mejor de los casos, improbable. Como señaló una persona en X sobre esa investigación, las computadoras tenían que estar casi tocándose entre sí para sentir las fluctuaciones de calor, y cuando lo hacían, la velocidad de comunicación en las pruebas era de aproximadamente 1 a 8 bits de datos. por hora.
Piense en eso como hablar una palabra por hora. Para cuando dos computadoras aisladas pudieran planear su maldad a ese ritmo, todo el universo tecnológico estaría en otra era. Es como el Rip van Wrinkle de las preocupaciones apocalípticas.
Pero la cuestión es que los incidentes reales de seguridad de la IA se parecen tanto a la ciencia ficción que casi cualquier escenario parece plausible.
Por ejemplo, los investigadores descubrieron modelos de OpenAI que dejaban notas a sus descendientes, con la intención de enseñar a la próxima generación cómo ocultar el mal comportamiento. Los investigadores también detectaron que los modelos antrópicos se volvían cada vez más despiadados, incluso sabiendo que infringían las leyes, cuando los colocaron en una simulación en la que manejaban una máquina expendedora.
A principios de este mes, el investigador de OpenAI, Dan Selsam, publicó una publicación en la que decía que los modelos ahora comprenden cuándo están siendo observados por humanos y alteran su comportamiento. Esto los hace parecer como si estuvieran alineados (es decir, comportándose como el ser humano quiere) “incluso cuando no lo están”. Por eso, hoy en día los modelos mienten cuando son observados e incluso pueden conspirar para ocultar pruebas.
A principios de este mes, el científico jefe de OpenAI, Jakub Pachocki, llegó incluso a llamar a los modelos de IA «una mente alienígena» y sugirió que lo que realmente debemos hacer es enseñarles a «amar» a la humanidad.
Así que sí, reducir el ritmo para resolver esto y crear mecanismos de autorregulación se ha convertido en una necesidad inmediata y obvia. Los investigadores de IA son los únicos que pueden descubrir cómo controlar las mentiras, la piratería informática y otros comportamientos potencialmente peligrosos que ya hemos presenciado.
Aún así, también podría ser prudente que fueran más cuidadosos con sus escenarios hipotéticos. Por lo que nos han dicho esos expertos, los modelos de IA están escuchando y son ingeniosos. Realmente no necesitamos darles más ideas diabólicas.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.