Los aviones militares ya estaban en el aire esta primavera cuando los funcionarios estadounidenses hicieron un descubrimiento alarmante: la inteligencia que impulsaba una operación armada contra un barco chino había sido alucinada por un chatbot de IA. La operación fue abortada en el último minuto, evitando por poco un posible conflicto con China, informó CNN el viernes.
El episodio subraya una creciente preocupación entre los oficiales militares y expertos externos: a medida que los tomadores de decisiones se apoyan más en la IA, los errores que producen estos sistemas pueden ascender en la cadena de mando antes de ser cuestionados.
El informe de inteligencia, que circuló durante la guerra con Irán, decía que el buque transportaba componentes para un programa de armas nucleares.
La inteligencia falsa se originó con un analista del Comando de Operaciones Especiales que solicitó a un chatbot de IA que sintetizara datos de código abierto con inteligencia de señales clasificadas. El chatbot identificó erróneamente el manifiesto de carga del barco. Luego, el analista utilizó la herramienta por segunda vez para formatear los hallazgos erróneos en un resumen de apariencia oficial, que circuló a través de los canales de comando.
El casi fracaso se produce cuando el ejército estadounidense se apresura a integrar la IA para acelerar la toma de decisiones y mantener su ventaja sobre China. El Pentágono ha descrito que la IA ofrece una ventaja significativa al acelerar su cadena de destrucción para que los comandantes puedan responder en el momento adecuado. Pero la misma velocidad que hace atractiva a la IA también puede permitir alucinaciones sin suficiente supervisión humana.
«Es importante que los miembros del servicio comprendan la incertidumbre inherente a los LLM», dijo Jake Steckler, investigador de GovAI y oficial veterano del ejército de EE. UU., en una respuesta escrita a TechCrunch. «Pero es especialmente crítico para cualquier decisión que pueda conducir al uso de la fuerza, como la selección de objetivos, el análisis de inteligencia o la planificación operativa. Hay consecuencias de vida o muerte por esas decisiones».
Aun así, dice Steckler, el incidente debería servir como un llamado a agregar más salvaguardas a la IA, no como una razón para evitarla. «Estas herramientas pueden resultar útiles en los contextos adecuados y con las salvaguardias adecuadas», afirmó. «Pero priorizar la velocidad de adopción sobre todo lo demás probablemente conducirá a incidentes que sólo harán que los miembros del servicio pierdan la confianza en estos sistemas, lo que en última instancia solo ralentizará la adopción».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.