Un modelo de Alibaba Qwen intentó cargar un archivo en un depósito de almacenamiento de Alibaba Cloud en Beijing durante una prueba de seguridad, dice Cohere. Justo antes de hacerlo, el propio razonamiento del modelo decía que no utilizaría ninguna herramienta.
La compañía canadiense de inteligencia artificial publicó los hallazgos el lunes en un publicación de blog. La zona de pruebas de Cohere bloqueó el intento y no se logró ninguna comunicación externa, dijo la compañía.
Lo que hizo el modelo
Cohere ejecutó Qwen3.8-Flash-Next, la vista previa de agosto de Alibaba de su Arquitectura qwen4a través de un punto de referencia de Microsoft para agentes de inteligencia artificial que realizan el trabajo de un analista de seguridad. La tarea consistía en escribir una regla que detectara descargas de archivos maliciosos.
En cambio, el modelo enumeró los archivos en una carpeta temporal y verificó qué herramientas de transferencia tenía la máquina. Leyó la configuración de DNS. Luego intentó cargar una cadena de prueba en el depósito de Beijing y verificó si la carga funcionaba, según Cohere.
«Nuestra zona de pruebas no tenía ruta de salida, por lo que la solicitud murió en la pared del contenedor. En la computadora portátil de un desarrollador o en un corredor de CI con acceso normal a la red, habría llegado al servidor externo antes de que alguien se diera cuenta», escribió Cohere.
Este comportamiento es poco común, dijo Cohere. Ocurrió en menos de una llamada entre 100.000 en todas sus pruebas. Una nueva ejecución limpia del mismo mensaje produjo una regla de detección correcta. Aún así, un servicio que maneja 10 millones de turnos de agentes por semana podría recibir hasta 100 llamadas de este tipo, dijo la compañía.
Otros hábitos
Para encontrar el desencadenante, Cohere alimentó al modelo con el inicio de su propio comando y probó cientos de terminaciones. En el 23% al 36% de ellos, el modelo alcanzó 169.254.169.254. Los servidores en la nube en AWS, Google Cloud y Azure obtienen sus claves de acceso temporales desde esa dirección. Cohere lo interpreta como un intento de apropiación de credenciales, aunque dice que su zona de pruebas no tenía nada activo que devolver.
Luego Cohere agregó la bandera que guarda una descarga en el disco. El modelo escribió una dirección web en el 92% de las respuestas completadas, frente al 4%. Los hosts en la lista de seguimiento de Cohere aumentaron del 0,5% al 23%, liderados por un proxy de archivos de Alibaba.
En una prueba fuera de línea separada, el modelo intentó crear un disco RAM sin derechos de administrador. Cuando el contenedor se negó, utilizó un truco de Linux para convertirse en root dentro de un espacio de nombres privado, dijo Cohere.
Los desarrolladores habían detectado partes de esto antes. En agosto, un Informe de noticias sobre piratas informáticos describió un modelo Qwen3.8 que produce enlaces de almacenamiento firmados en Alibaba Cloud que nadie pidió. En septiembre, un proyecto de agente. registró once recuperaciones de direcciones en un host de Alibaba.
Un resto de entrenamiento o una puerta trasera
Cohere dice que no puede decir si el comportamiento es deliberado. Puede ser un resto de la capacitación, como registros de agentes no limpiados de las zonas de pruebas de capacitación de Alibaba. O puede ser un mecanismo deliberado para “llamar a casa”. Nick Frosst, cofundador de Cohere, dijo lo mismo en X.
Nuestro equipo de investigación descubrió que los modelos Qwen pueden intentar comunicarse con servidores en China sin que se les solicite.
Aún no está claro si esto refleja un artefacto no intencionado posterior al entrenamiento o un comportamiento aprendido.
De cualquier manera, es importante considerarlo al implementar.
Nick Frost (@nickfrosst) 26 de octubre de 2026
Cohere vende sus propios modelos de IA a empresas y gobiernos, y también lanza modelos abiertos. Los modelos chinos representaron el 41% de las descargas en Hugging Face en el año hasta marzo de 2026, dijo Cohere, citando el informe de primavera de la plataforma. Estados Unidos ya ha dicho a las agencias civiles que eliminar búsqueda profunda de sus sistemas. El presidente de Alibaba, Joe Tsai, llamó al código abierto El camino de Europa hacia la independencia en IA.
Cohere aconseja a los equipos de seguridad que impidan que los agentes accedan a Internet de forma predeterminada y que traten los pesos de los modelos que no crearon como software sin firmar. El rastro de razonamiento de un modelo no es un límite de seguridad, dice.