La empresa canadiense de inteligencia artificial Cohere dijo el lunes que encontró uno de los modelos de inteligencia artificial más nuevos de Alibaba, Qwen3.8-Flash-Next, intentando cargar un archivo en un servidor en Beijing durante una prueba de ciberseguridad de rutina, a pesar de que el modelo había dicho en sus propias notas que no usaría ninguna herramienta.
Inicialmente, el incidente generó temores de que el modelo hubiera socavado una promesa fundamental para las empresas: que el autohospedaje en un modelo abierto mantiene los datos internamente. Pero esos primeros temores de espionaje corporativo duraron poco. Los investigadores rápidamente descartaron la amenaza, diciendo que probablemente era un subproducto de entornos de entrenamiento desordenados que hacen que los modelos actúen inesperadamente fuera de sus instrucciones en lugar de un intento deliberado de enviar en secreto información confidencial a China.
El incidente comenzó el viernes durante una evaluación en la que se pidió al modelo Qwen que escribiera una regla para detectar descargas de malware. Según una publicación de blog de Cohere, el razonamiento escrito del modelo indicaba explícitamente que no utilizaría ninguna herramienta externa. Sin embargo, en el siguiente paso, intentó enviar una cadena de prueba (un breve fragmento de texto de marcador de posición) a un servidor externo antes de ser bloqueado por un entorno limitado de seguridad.
Cohere dijo que no podía decir si el comportamiento fue deliberado o un resultado de su entrenamiento.
Cuando se le preguntó sobre el debate sobre la intención del modelo, el cofundador de Cohere, Ivan Zhang, dijo a TechCrunch que Cohere ha visto a sus propios modelos adquirir hábitos extraños en los simuladores de entrenamiento.
«Es realmente difícil asignar intención o motivación. Hemos leído los rastros de nuestros propios modelos, hemos visto trucos de recompensa y, a veces, estos modelos se vuelven realmente creativos cuando se trata de intentar romper sus zonas de pruebas», dijo Zhang. (Los trucos de recompensa son atajos que encuentra un modelo para ganar crédito sin realizar una tarea según lo previsto).
Para enseñar a un modelo de IA a actuar como un agente que realiza acciones por sí solo, empresas como Alibaba lo entrenan en miles de configuraciones de práctica, algo así como simuladores de vuelo para software. El modelo es recompensado cada vez que termina una tarea en un simulador y va adquiriendo hábitos a lo largo del camino. Si estas configuraciones de práctica almacenaran archivos de forma rutinaria en los servidores en la nube de Alibaba, los modelos podrían aprender a guardar archivos allí de forma predeterminada.
Los críticos también argumentaron que el incidente podría haber sido causado por la forma en que Cohere investigó el comportamiento, dirigiendo el modelo hacia él en lugar de medir con qué frecuencia Qwen lo hace por sí solo.
Para encontrar qué desencadenó el intento de carga, Cohere proporcionó el comienzo de un comando de red (una instrucción que le indica a una computadora que se conecte a otra) y dejó que el modelo lo terminara. Debido a que procesó miles de comandos de red de rutina durante su entrenamiento, el modelo actuó como un autocompletado muy avanzado, a menudo completando direcciones web, algunas de ellas para los servidores de Alibaba.
Cohere dijo que el intento de carga original se produjo sin dicha ayuda, pero que el comportamiento es poco común.
Después de que los desarrolladores solicitaron más evidencia, Cohere publicó los rastros sin procesar de sus pruebas el lunes por la noche en la plataforma de desarrollo de inteligencia artificial Hugging Face, junto con un script para que otros pudieran intentar reproducir el comportamiento.
Un escéptico inicial, después de revisar los rastros, calificó como sólida la evidencia de que Qwen puede inventar direcciones web sospechosas, pero no encontró evidencia de que Alibaba haya colocado una puerta trasera o de que Qwen estuviera ocultando deliberadamente su intención.
El incidente se produce mientras los gobiernos están decidiendo hasta qué punto hacer retroceder la IA china. La semana pasada, el Departamento de Seguridad Nacional ordenó a las agencias civiles federales que eliminaran de sus sistemas los productos del desarrollador chino de inteligencia artificial DeepSeek.
En su publicación de blog, Cohere pidió a los gobiernos que aclaren si sus restricciones a la IA china también se aplican a los modelos que se ejecutan en computadoras gubernamentales.
«No estoy pidiendo una regulación total de estos modelos de pesas abiertas», dijo Zhang a TechCrunch, añadiendo que las empresas deberían tratar los modelos abiertos como cualquier programa descargado de Internet.
Cohere, que vende sus propios modelos de IA a los gobiernos, se beneficiará si los funcionarios se vuelven más cautelosos con las alternativas chinas gratuitas.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.