Anthropic le ha dicho al gobernador de California, Gavin Newsom, que el estado debería poder solicitar a un tribunal que bloquee los modelos de IA que representen un riesgo grave. La empresa de IA expuso el caso en una carta a la que tuvo acceso por primera vez politico.
La carta, fechada el 15 de octubre, responde a una orden ejecutiva El gobernador Gavin Newsom firmó en septiembre. La orden creó un grupo de trabajo para sugerir, dentro de dos meses, cómo fortalecer las leyes de seguridad de la IA en California. Una pregunta es si los desarrolladores deben poder apagar sus modelos.
Un portavoz de Anthropic confirmó que la carta era genuina, pero la oficina de Newsom no respondió de inmediato.
«Cuando una revisión encuentra que un modelo plantea un riesgo grave, el gobierno debería poder pedir a un tribunal que lo bloquee», escribió Anthropic.
Según su propuesta, los evaluadores independientes informarían de los riesgos al fiscal general de California. Si el fiscal general viera un riesgo de daño catastrófico a corto plazo, podría pedirle a un tribunal que detuviera el modelo, informó Politico. Una orden judicial podría detener su divulgación, su uso dentro de la empresa o seguir trabajando en ello.
Anthropic también quiere que auditores de seguridad externos trabajen dentro de las principales empresas de IA. Las empresas pagarían a un fondo administrado por el estado en lugar de pagar directamente a los auditores. Los grandes promotores también publicarían informes de riesgos al menos cada seis meses.
En cuanto a los interruptores de apagado, Anthropic estuvo de acuerdo en que todas las empresas líderes en inteligencia artificial deberían poder cerrar sus modelos rápidamente.
Sin embargo, dijo que una ley centrada únicamente en los cierres podría dar un falso consuelo. En cambio, respaldó medidas más estrechas, como desactivar un único agente de IA o cortar el acceso de un cliente.
OpenAI envió sus propias recomendaciones a Newsom el 20 de octubre, respaldando controles de cierre y auditores internos, pero no órdenes judiciales para bloquear modelos riesgosos, según Politico.
Anthropic está presentando un caso similar en Washington. A proyecto de ley federal que ha circulado permitiría al Departamento de Comercio pedir a un tribunal federal que bloquee la publicación de un modelo en casos concretos.
Los legisladores de la Cámara también han propuesto una Ley de interruptor de apagado de IA eso permitiría a los funcionarios ordenar a las empresas de inteligencia artificial que cierren modelos peligrosos.