Anthropic está trabajando en un sistema para demostrar la identidad de los modelos de IA

Anthropic está trabajando en un sistema de código abierto para verificar qué modelo de IA produjo un resultado determinado, según una publicación de blog publicada el martes. El sistema, llamado FlashProve, está diseñado para proporcionar lo que los investigadores llaman “inferencia demostrable”: una prueba criptográfica, esencialmente una garantía matemática, de que un resultado determinado proviene de un modelo específico. Su objetivo es permitir a los usuarios confirmar que la respuesta que recibieron realmente proviene del modelo que creen que están usando.

De manera similar a las firmas de correo electrónico criptográficas que permiten a los destinatarios confirmar que un mensaje realmente proviene de su remitente, FlashProve sería sólido contra los impostores que intentan disfrazar un modelo como otro, incluso cuando el impostor es el laboratorio que construyó y ejecuta el modelo. En particular, los investigadores señalan que el sistema podría usarse para evitar que una empresa de inteligencia artificial cambie en secreto un modelo más barato para reducir costos, o un modelo más caro para inflar sus resultados de rendimiento.

FlashProve también podría usarse para verificar afirmaciones de terceros de que un modelo avanzado realizó una tarea específica. «Un desarrollador podría afirmar que su biblioteca de software fue analizada en busca de vulnerabilidades mediante un modelo de ciberseguridad de vanguardia, o una empresa podría afirmar que su plan de negocios recibió luz verde mediante un modelo apropiado», escriben los investigadores. «¿Cómo puede un usuario verificar estas afirmaciones?»

Para funcionar, el sistema requiere que los laboratorios de inteligencia artificial publiquen una «huella digital» de cada modelo que lanzan, que luego puede compararse con resultados específicos y verificarse criptográficamente. Fundamentalmente, las huellas digitales no revelan los pesos de un modelo, los números internos que definen cómo se comporta y que los fabricantes de modelos cerrados como Anthropic y OpenAI mantienen en privado. Eso significa que los laboratorios podrían publicar las huellas dactilares sin renunciar a su activo más valioso, lo que permitiría que el sistema funcione también con modelos comerciales. El sistema también está diseñado para ser liviano, por lo que la verificación podría realizarse en un dispositivo local.

Como parte del anuncio, los investigadores publicaron una especificación técnica detallada y un código de trabajo para varios elementos del sistema, que está disponible públicamente bajo una licencia de código abierto en GitHub. La investigación en el sistema está en curso y no hay planes para implementarlo en Anthropic ni en ningún otro laboratorio.

«Esta publicación de investigación está destinada a compartir avances intermedios, y no una agenda de investigación completa», explican los investigadores en la publicación del anuncio. «Compartimos esto explícitamente con el objetivo de que otros vean lo que hemos hecho, lo adopten y lo mejoren».