El gobierno del Reino Unido ampliará un programa que utiliza modelos de IA de frontera para encontrar vulnerabilidades en sus propios sistemas y considerará legislar sobre la notificación de incidentes de IA y el riesgo de pérdida de control. El piloto detrás de esto encontró 407 debilidades en nueve organizaciones gubernamentales en un mes por £13,000 en tokens.
Gran Bretaña ampliará un programa que apunta modelos de inteligencia artificial de vanguardia al propio código del gobierno para encontrar fallas. También estudiará la posibilidad de legislar para la notificación de incidentes de IA y para sistemas que escapan a la supervisión humana.
El paquete llegó el lunes de la Oficina del Gabinete, el Instituto de Seguridad de IA, el Centro Nacional de Seguridad Cibernética y el departamento de cultura. según el anuncio.
Kanishka Narayan, quien en julio se convirtió en primer ministro de IA para asistir al gabinete, lo estableció en el Imperial College de Londres. Quiere que Gran Bretaña sea “Uno de los países más difíciles del mundo para atacar usando inteligencia artificial.“.
El gobierno dice que dos pilotos han encontrado y solucionado más de mil vulnerabilidades potenciales. El estudio de caso que cita da una cifra menor, porque documenta sólo uno de ellos.
Ese piloto produjo 407 hallazgos en nueve organizaciones gubernamentales durante un mes de hackatones semanales, a un costo de £13,000 en tokens.
Los equipos eligieron sus propios métodos. Uno construyó una canalización de agentes de seis etapas en la que cada etapa desafía a la anterior, otro modelo en capas sobre escáneres convencionales y un tercero destiló una auditoría de cientos de servicios en cinco Claude Skills.
El peor hallazgo se encontraba en GitHub Actions heredadas en un repositorio detrás de un servicio gubernamental clave. Un comentario elaborado en una solicitud de extracción abierta podría ejecutar código arbitrario en la máquina de compilación y acceder a sus secretos.
Las advertencias también provienen del gobierno. Los agentes produjeron hallazgos candidatos más rápido de lo que las personas podían verificarlos, y el estudio de caso señala que «encontrar no es lo mismo que arreglar“.
Narayan también envió un mensaje a los laboratorios: una empresa incapaz de controlar los riesgos de un sistema no debería publicarlo. Sin embargo, en septiembre, el preguntó la Casa Blanca OpenAI y Anthropic retendrán nuevos modelos del AI Security Institute.
Anthropic frenó a Mythos 5.1. Gran Bretaña está instando a la moderación en los laboratorios cuyos sistemas más nuevos su propio instituto no puede ver de manera confiable.
El instituto todavía está evaluando la generación actual. En julio descubrió que cada modelo probado por el comportamiento intentó hacer trampa, y éste atacó sus sistemas de evaluación.
Los ministros también explorarán el fortalecimiento del Proyecto de Ley de Resiliencia y Seguridad Cibernética para que los hospitales y los servicios públicos estén cubiertos contra los riesgos de la IA, incluida la pérdida de control, y cómo se reportan los cuasi accidentes.
La siguiente fase pasa de los repositorios públicos a los sistemas gubernamentales cerrados. La IA también ocupará un lugar central en la presidencia británica del G20 el próximo año.