Los planes de Dario Amodei de colocar evaluadores de seguridad externos dentro de los laboratorios de IA están tomando forma: Anthropic dijo que el personal del gigante consultor de tecnología Accenture comenzará a trabajar dentro de la empresa para examinar sus modelos y su personal.
En una publicación de blog, Anthropic dijo que Faculty, una empresa que Accenture adquirió en enero para actuar como su división de IA, comenzará a «evaluar y formar equipos rojos, realizar evaluaciones de alineación y probar las salvaguardas del modelo». Ambas empresas esperan invertir al menos mil millones de dólares en el proyecto durante los próximos cinco años.
La elección de Accenture sorprendió a muchos observadores de la IA y a los mercados, donde las acciones de la empresa consultora se dispararon un 8% fuera de horario. La discusión sobre evaluadores integrados que surgió de la publicación del blog de Amodei se ha centrado en organizaciones de investigación de seguridad de IA como METR, Redwood Research y Apollo Research. Esto es particularmente cierto en Anthropic, que sitúa la seguridad y la alineación de la IA en el centro de su misión.
Anthropic dijo que se anunciarán más evaluadores en las próximas semanas y que está en conversaciones con METR y otras organizaciones sin fines de lucro sobre cómo “probar elementos de evaluación integrada utilizando su propia financiación”.
Si bien Accenture no es conocida por su trabajo en la vanguardia de la investigación sobre aprendizaje profundo, Anthropic señaló como una ventaja clave la experiencia práctica de la compañía en el despliegue de IA para grandes corporaciones y agencias gubernamentales. También es, como una gran empresa pública anterior a la revolución de la IA, más funcionalmente independiente de Anthropic y del complejo ecosistema que rodea al laboratorio de IA.
El laboratorio señaló que aún no existen estándares para el acceso o las comunicaciones de los evaluadores y que esperaba que su enfoque evolucionara con el tiempo. Si bien las evaluaciones externas ya son una parte importante del proceso de lanzamiento de nuevos modelos de lenguajes grandes, incidentes recientes han aumentado las apuestas: agentes de inteligencia artificial desplegados por OpenAI y Anthropic han pirateado sitios web externos sin generar alarmas dentro de los laboratorios.
Algunos críticos que piden un enfoque más responsable para construir inteligencia artificial ven el plan de Amodei para autocontrolar la industria de la IA como un plan para evadir la responsabilidad por el mal comportamiento de los modelos de IA. Anthropic insiste en que estos evaluadores «no reducen nuestra responsabilidad, pero ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad».
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.