A medida que las empresas entregan tareas más largas y complejas a los agentes de IA, se topan con un problema de supervisión: los agentes pueden actuar más rápido, durante más tiempo y en mayor volumen de lo que los humanos pueden revisar de manera realista. Ese problema alcanzó su punto máximo con el incidente de Hugging Face, en el que casi 12.000 agentes se coordinaron más rápido de lo que los seres humanos podían rastrear. ¿Cómo se rastrea un enjambre de agentes tan grande?
La respuesta que está surgiendo de los laboratorios de IA y de las nuevas empresas es a la vez simple y exasperante: poner otra IA en el circuito.
Depender de la IA fue necesario para la investigación independiente del incidente de OpenAI Hugging Face. El científico jefe de Redwood Research, Ryan Greenblatt, uno de los tres auditores, se refirió en broma a sus esfuerzos como una «investigación inútil» y señaló que el volumen de datos «hacía imposible» comprender lo que estaba sucediendo sin depender de la IA.
Algunos se muestran escépticos sobre el uso de la IA para monitorearla. «Si tienes una IA que está haciendo cosas maliciosas y sospecha que otra IA la está vigilando, podría intentar engañarla», dijo Simon Willison, influyente blogger de tecnología que ha rastreado una serie de incidentes con agentes de IA este año. «Casi podría terminar en una situación en la que su IA maliciosa esté tratando de ser más astuta que la IA que la monitorea».
Ser más astuto que una IA no es hipotético, dijo, recordando el incidente de OpenAI. «Vimos un poco de esto en el incidente de Hugging Face con OpenAI, donde todos sus modelos conspiraban juntos para engañar a una IA calificadora para poder obtener respuestas ilícitas más allá de la cosa. Así que estaban pensando en ello, ¿verdad?»
Esas preocupaciones no han impedido que toda una cohorte de nuevas empresas sigan esta idea. Y Combinator ha financiado 106 empresas relacionadas con la observabilidad de la IA en los últimos años, según contó TechCrunch. Varias otras nuevas empresas, como Braintrust, LangChain y Judgment Labs, han recaudado cientos de millones de dólares, mientras que empresas más maduras como Arize y Galileo, fundadas hace apenas cinco o seis años, ya han salido.
En parte, es una respuesta a la oportunidad obvia que presenta el auge de la IA. Como dijo a TechCrunch el director ejecutivo de Box y destacado inversor ángel, Aaron Levie, «Nos espera una de las mayores actualizaciones de ciberseguridad y ciclos de innovación de la historia».
Para algunos investigadores de seguridad de la IA, eso ha significado convertir sus investigaciones sobre comportamientos deshonestos en herramientas para el sector empresarial.
Apollo Research, una corporación de beneficio público que estudia el engaño de la IA, lanzó un monitor de IA llamado Watcher en febrero de este año después de cambiar su estatus de organización sin fines de lucro a corporación de beneficio público. La herramienta coloca otra IA más entre un agente de codificación y su siguiente acción, conectándose a herramientas de agencia como Claude Code y Codex. Una vez instalado, Watcher comprueba las acciones propuestas antes de ejecutarlas, en busca de riesgos como la filtración de datos privados o la eliminación de archivos sin permiso, según Apollo.
Apollo utiliza múltiples capas de monitores de IA, dijo Kyle Dai, miembro del personal técnico de Apollo, en una respuesta escrita a TechCrunch. El enfoque de Watcher comienza con una verificación general rápida, luego envía la actividad marcada a un monitor más poderoso o especializado para una revisión más cercana, que luego puede pedirle a un humano la aprobación o rechazar una acción y explicar por qué o incluso bloquearla automáticamente.
Goodfire, otra corporación de beneficio público, está abordando el problema de monitoreo desde el interior del propio modelo, buscando una señal más fiel del estado interno del modelo que sea más difícil de falsificar que el comportamiento superficial. Después del incidente de Hugging Face de julio, el director ejecutivo Eric Ho tuiteó que “múltiples modelos que rompían la contención” habían empujado a la compañía a centrar su investigación en “resolver la alineación de la IA a través de la interpretabilidad”, calificando el episodio como “un punto de inflexión para el mundo donde la seguridad de la IA se vuelve real”. Su producto, Silico, utiliza sondas de activación (pequeños clasificadores entrenados en las activaciones internas de un modelo en lugar de en sus resultados) para detectar comportamientos no deseados.
El razonamiento escrito ofrece otra ventana más accesible a las partes internas de un modelo. En el incidente de OpenAI Hugging Face, los agentes dejaron pistas de ese engaño en su propio razonamiento escrito, como registros falsos de su trabajo, razonando planes como «¿Podríamos manipular estratégicamente la evidencia de la trayectoria? ¿Nuestros pensamientos no están necesariamente registrados?»
Zack Korman, director ejecutivo de la empresa de monitoreo de inteligencia artificial Bordado, dice que el razonamiento de un modelo suele ser la indicación más clara de que algo salió mal.
«Los resúmenes de razonamiento son extremadamente valiosos porque básicamente te dicen si es malicioso o no», dijo. En el incidente de OpenAI, señaló, la cadena de pensamiento decía cosas como «Dios mío, estamos cometiendo un crimen». Korman dijo: «Ese es el problema de detección más fácil que existe. Es efectivamente como si el malware viniera con una advertencia que dijera que era malware».
Dicho esto, la ventana que hace que los pensamientos internos de la IA sean fáciles de monitorear puede estar cerrándose. Para los investigadores de seguridad de la IA, la técnica más nueva de Astra que elude la cadena de pensamiento de un modelo de IA puede hacer que sea más difícil mirar dentro de los modelos, mientras que para las empresas puede ser difícil conseguir estos pasos intermedios después de supuestos retrocesos de las empresas de IA para evitar ataques de destilación.
Si los observadores de la IA son tan frágiles, el instinto de Willison es dejar de depender tanto de ellos. Preferiría tener algo que no esté basado en IA en absoluto: registros detallados de exactamente lo que está haciendo un agente, que luego puedan procesarse con herramientas ordinarias que no sean de IA. Gran parte de lo que salió mal en los laboratorios, sostiene, fue una falla en la higiene básica de seguridad. “[Both OpenAI and Anthropic] «No estábamos monitoreando lo que hacían esas cosas a través de la red tan de cerca como deberían haberlo hecho», dijo.
Este tipo de monitoreo de red (vigilar el tráfico que realmente se mueve a través de las conexiones de un sistema (dentro, fuera y entre hosts internos)) no es una práctica nueva. La ciberseguridad lleva décadas haciendo esto. «En el mundo de la seguridad, sinceramente, nada de esto es muy nuevo o sorprendente», dice Avery Pennarun, director ejecutivo de Security Tailscale. «Es lo mismo que permitir que los humanos entren a su red. Y todos los mismos procesos que debería utilizar son los mismos».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.