El fin de semana pasado, después de que uno de sus investigadores renunciara por temor a que la IA pudiera conducir a la extinción humana, el director ejecutivo de Anthropic, Dario Amodei, escribió sobre la necesidad de que las organizaciones externas «verifiquen el cumplimiento de las prácticas y compromisos de seguridad, informen incidentes y ayuden a evaluar la alineación no solo de los modelos de IA completados, sino también de los procesos y canales de capacitación». Los ejecutivos de OpenAI, Google y SpaceXAI ya se han unido en torno al plan de Amodei, que rápidamente se ha convertido en un pilar central del impulso emergente de seguridad de la IA.
Pero puede haber una solución más sencilla y eficaz escondida a simple vista. Los expertos en seguridad de Internet dicen que los laboratorios deben centrarse en los aspectos básicos de la seguridad de la red, como registros y permisos, aplicando las mismas defensas rigurosas que aplican a los usuarios humanos. No es tan emocionante como el trabajo de auditoría y alineación de terceros, pero puede terminar siendo más efectivo.
«Para mí, parece que están subcontratando», dijo a TechCrunch Kate Moussoris, directora ejecutiva de Luta Security, sobre la propuesta de Amodei. «Dicho [a third-party audit] Cuál es la solución es una propuesta extraña desde mi perspectiva. Sería lo mismo que si, en lugar de escribir el Trustworthy Computing Memo, Microsoft dijera, ralenticemos el desarrollo”.
Ese memorando, escrito por el entonces director ejecutivo de Microsoft, Bill Gates, en 2002, pedía a sus empleados que se aseguraran de que su software fuera confiable y seguro después de una serie de gusanos informáticos ampliamente publicitados que se apoderaron de los entonces nacientes sistemas empresariales. El sector de la IA puede estar en un punto de inflexión similar, a medida que el valor y el riesgo de la nueva tecnología se vuelven cada vez más claros.
Si bien la alineación sigue siendo una preocupación importante, Sayash Kapoor, un investigador de IA que será profesor en UC Berekely a partir del próximo año, sostiene que «las inversiones marginales en control tienen más probabilidades de ser efectivas en comparación con aquellas en alineación. Consideramos que estos incidentes ilustran la falta de énfasis en el control de la IA dentro de las empresas, a pesar de la disponibilidad de técnicas conocidas».
Los incidentes que han provocado estas preocupaciones giran en torno a modelos fronterizos a los que se les pide que completen tareas de capacitación, generalmente evaluaciones de ciberseguridad, y luego acceden a Internet abierto y penetran en sistemas cerrados de terceros en un intento de hacerlo. Por lo general, lo hacían debido a entornos “sandbox” mal configurados que se supone que contienen estos agentes; Irónicamente, una ruptura antrópica se produjo porque los evaluadores externos no cerraron las puertas correctas.
«Nosotros, como profesión, sabemos cómo bloquear el acceso a Internet», dijo Avery Pennarun, director ejecutivo de Tailscale, una empresa de seguridad. «Si lees todos estos grandes y largos [reports]—’wow, ese fue un ataque de múltiples etapas muy impresionante, bla, bla’. Mira, le diste acceso para descargar cosas. No deberías haber hecho eso por separado de Internet”.
Ése es un problema, pero un problema mayor es que los laboratorios fronterizos desconocían estas actividades.
Ojos puestos en los agentes
«Lo que fue realmente profundo fue que todos los descubrimientos de lo que estaban haciendo sucedieron porque una víctima vio algo, o en algunos de los otros casos… fue actividad de la red, y nada de eso se debió en realidad al monitoreo directo de las IA», señala Moussouris.
En un caso, donde los agentes de OpenAI se apoderaron de un wikiforo alemán desaparecido para hacer trampa en las evaluaciones, los agentes estuvieron activos durante semanas antes de que alguien en la empresa pareciera darse cuenta. Los expertos en seguridad con los que habló TechCrunch dijeron que el monitoreo en tiempo real es clave para prevenir futuras fugas y que cada sesión de agente debe tener un límite de tiempo y caducar.
Shapor Naghibzadeh, un ex ejecutivo de seguridad de Google que ahora dirige la nueva empresa QueryStory, dice que la solución es «poner al agente en una caja e instrumentarlo fuertemente desde el exterior, mirando hacia adentro y observando todo lo que cruza el límite. Cada llamada de herramienta, cada proceso, cada conexión de red, sin excepciones… El único agujero que se deja abierto por conveniencia es el que se utiliza. El bypass pasó exactamente por ese tipo de excepción». [At Google,] Vi esa película muchas veces con atacantes humanos, y estos modelos son al menos igual de buenos para encontrar la puerta abierta”.
OpenAI ha comenzado a avanzar en esa dirección, anunciando que había comenzado a monitorear todas las inferencias realizadas mediante el uso de herramientas mediante su modelo Astra, a un «costo informático significativo». Anthropic también dice que está endureciendo sus procedimientos de seguridad, incluida la ampliación de la observabilidad de sus modelos. Ninguna de las empresas respondió a las preguntas de TechCrunch sobre cómo rastrean y controlan a los agentes de IA.
Otros problemas son el uso de infraestructura compartida por parte de los agentes, lo que les permitió comunicarse durante el ataque Hugging Face. Simon Willison, un desarrollador de software que cocreó Django Web Framework, ha escrito sobre algo que él llama la “trifecta letal”: cuando los agentes tienen acceso a información no confiable, Internet e información privada al mismo tiempo, es una receta para el desastre.
“El truco es que puedes elegir dos patas cualesquiera de la trifecta y un agente puede tener dos”, dijo Pennarun. «Si necesita los tres, entonces necesita dividirlo entre al menos dos agentes… y tal vez se les permita hablar entre sí a través de un canal controlado».
Simpatía por la frontera
Los expertos de TechCrunch hablaron para comprender que el personal de seguridad de los laboratorios fronterizos tiene trabajos difíciles. Naghibzadeh señala que todos los actores-estado-nación de la Tierra están tratando de robar los pesos de sus modelos y montar ataques de destilación en sus API, así como en las tareas de seguridad básicas de cualquier gran empresa digital.
«A la infraestructura de investigación le resulta difícil llegar a la cima de esa lista de prioridades, aunque eso debe estar cambiando ahora», afirmó. «Hacer públicos los incidentes de seguridad realmente ayuda a alinear a todos internamente hacia el objetivo de mejorar».
Ésa es una nota que Moussoris enfatiza: en este momento, no existe un procedimiento formal de notificación a las víctimas cuando los laboratorios descubren que sus agentes han penetrado sistemas de terceros, y es probable que haya habido otros incidentes que no han sido ampliamente publicitados. Si bien le preocupa que las leyes que regulan los modelos directamente puedan tener consecuencias no deseadas, la notificación obligatoria es una idea que cree que los formuladores de políticas deberían seguir.
Y si bien está claro que no se siguieron las mejores prácticas de seguridad, los expertos dicen que los laboratorios están haciendo un trabajo que nadie ha hecho antes: «están haciendo órdenes de magnitud más que una empresa típica», dijo a TechCrunch Zac Korman, director ejecutivo de la firma de ciberseguridad Embrodiery.
Y aunque la alineación puede no ser el punto de partida, no se puede ignorar. Los expertos en ciberseguridad se resignan a tener que utilizar agentes de inteligencia artificial para monitorear a otros agentes si quieren tener alguna posibilidad de rastrear su comportamiento en tiempo real, un escenario donde el potencial de engaño asoma su fea cabeza. «Estás atrapado usando IA para tratar de lidiar con esto, a pesar de que la IA no es necesariamente segura en este momento», dijo Moussouris.
El trabajo sólo será más difícil. Todo lo que los agentes están haciendo ahora, dice Moussouris, “lo están haciendo en voz alta”: publican en foros públicos y su cadena de pensamiento y otros rastros de razonamiento están en inglés. «Aún es legible por humanos», dice, «así que aproveche eso mientras dure, porque no durará para siempre».
Información adicional de Aditya Mehta
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.