Las empresas de inteligencia artificial firman el llamado a París de Macron, pero el grupo de seguridad dice que le falta fuerza

OpenAI, Anthropic, Microsoft y Mistral se encuentran entre las diez empresas de IA que han firmado una nueva declaración sobre la seguridad de los modelos avanzados de IA. El Llamado de París para la seguridad de la IA fue acordado el lunes en una reunión organizada por el presidente francés Emmanuel Macron.

La inteligencia artificial avanza très vite. Sobre el déjà vu: esto implica riesgos reales para nuestra seguridad colectiva.

Nuestro trabajo para los desarrolladores de tecnologías también es uno de los aspectos de la anticipación y de la gestión de sus riesgos.

J’ai réuni à Paris et en visio une cinquantaine d’acteurs: chefs d’État et de gouvernement, dirigeants des plus grands laboratoires d’IA, chercheurs et experts.

Le constat est partage. Il faut agir conjunto. Nous avons obtenu des engagements de tous autour de tres priorités: mieux évaluer de façon indépendante et publique les risques des modèles les plus avancés, mieux partager les alertas en cas d’incident grave et responsabiliser les acteurs qui développent des modèles.

Nuestra ambición es clara: hacer un progreso para todos, con una garantía de seguridad por el compromiso de chacun.

—Emmanuel Macron (@EmmanuelMacron) 9 de noviembre de 2026

El anuncio se produjo el día de la inauguración del Foro de Paz de París, donde la IA fue uno de los principales temas de discusión.

Seis países firmaron la declaración: Francia, Canadá, Finlandia, Noruega, Países Bajos y Bahrein. Las otras empresas participantes son Hugging Face, Cohere, Black Forest Labs, Domyn, Sakana AI y Synthesia. LawZero, la organización de seguridad de IA de Yoshua Bengio, se encuentra entre los grupos de investigación que la apoyan.

Alrededor de 50 personas se unieron a las discusiones por video, incluido el director ejecutivo de OpenAI, Sam Altman, el director ejecutivo de Anthropic, Dario Amodei, y el presidente de Microsoft, Brad Smith.

También participó el secretario del Tesoro estadounidense, Scott Bessent, aunque Estados Unidos no figura entre los firmantes. Google, Meta y China tampoco han firmado la declaración.

Macron dijo que la IA estaba avanzando rápidamente y planteaba “riesgos reales para nuestra seguridad colectiva”, y pidió a los gobiernos y empresas que trabajen juntos para abordarlos.

Los firmantes se han comprometido a desarrollar mecanismos a prueba de fallos que puedan apagar sus modelos de IA, incluso durante el entrenamiento y el uso interno. También proporcionarán información más clara sobre lo que sus sistemas pueden y no pueden hacer, y permitirán que expertos independientes calificados los prueben cuando corresponda.

La declaración también exige un enfoque compartido para evaluar y gestionar los riesgos de la IA de frontera. Esto abarcaría usos maliciosos, incluidos los ciberataques y el desarrollo de armas, así como la posibilidad de que los sistemas de inteligencia artificial actúen de forma independiente o vayan más allá del control humano. Los resultados de las pruebas no confidenciales se publicarían en un formato común.

Los gobiernos y las empresas también compartirán alertas tempranas sobre incidentes graves, mientras que los denunciantes tendrán acceso a canales seguros para informar sus inquietudes.

Los compromisos han generado críticas de la organización francesa de seguridad de la IA. CeSIAque firmó la declaración pero sostiene que deja importantes lagunas.

No establece umbrales de riesgo comunes para decidir si un modelo debe desarrollarse o publicarse, y no garantiza que los evaluadores independientes o los gobiernos tengan acceso a los sistemas que necesitan evaluar.

CeSIA también quiere que los gobiernos tengan autoridad para suspender un modelo cuando sus riesgos sean demasiado altos. Sostiene que los desarrolladores necesitan obligaciones más claras y un calendario para cumplirlas.

“Estas decisiones deben recaer en las autoridades públicas”, afirmó Charbel-Raphaël Ségerie, director ejecutivo de CeSIA.

El Llamado de París sigue a una iniciativa lanzada por Noruega y Finlandia en septiembre para poner la IA fronteriza bajo una mayor supervisión, a la que Francia se unió más tarde. También se basa en anteriores compromisos globales de seguridad realizados por empresas de IA en Seúl y debates en el Cumbre del G7 organizado por Francia en Evian.

La declaración sigue abierta a otros signatarios, pero no establece plazos. El marco de prueba compartido que propone aún no se ha desarrollado.

El martes, el foro abordó otra preocupación de Macron: los efectos de la IA en los niños. En su intervención en una cumbre sobre los niños en la era de la IA, el presidente francés pidió que las herramientas de IA sean sometidas a controles antes de ponerse a disposición de los usuarios jóvenes.

«Impulsaremos la precertificación de todas las soluciones de inteligencia artificial», afirmó.

Macron comparó la idea con los controles de seguridad requeridos para los juguetes de los niños, argumentando que los padres no le darían a un niño un juguete no probado y que las herramientas de inteligencia artificial deberían cumplir con el mismo estándar.

También advirtió que los efectos de la IA en la salud mental de los jóvenes ya se estaban haciendo evidentes, a medida que más niños y adolescentes recurren a chatbots que pueden influir en sus emociones y en su forma de ver el mundo. Más tarde el martes se firmaría una carta sobre una IA más segura para los niños.

El presidente Emmanuel Macron también recibió un informe, titulado “Proteger sin prevenir”, de un panel de expertos designado por el gobierno que examina la IA generativa y la vulnerabilidad humana.