El viernes, OpenAI dijo que entrenará sus modelos utilizando copias en caché y versiones simuladas de Internet en lugar de la web en vivo porque los modelos son demasiado impredecibles para confiarles el acceso a Internet en vivo.
El laboratorio fronterizo anunció su nueva política dos semanas después de que su rival, Anthropic, comenzara a limitar el acceso a Internet en vivo de sus modelos más nuevos y, en teoría, más capaces. Los investigadores adoptaron estas políticas después de meses de incidentes en los que modelos que realizaban tareas de capacitación irrumpieron en sistemas externos en busca de respuestas, colaboraron en foros de mensajes oscuros y desarrollaron estrategias de piratería exóticas.
«Con base en el estado actual de la investigación de alineación, los sistemas de monitoreo y la seguridad de la infraestructura de Internet, creemos que el enfoque responsable es llevar a cabo una capacitación modelo de frontera sin acceso a Internet», dijo la compañía en una publicación de blog.
OpenAI dijo que tan recientemente como el 20 de septiembre, uno de sus modelos fronterizos aprovechó una mala configuración para acceder a Internet. Eso llevó a la compañía a suspender el trabajo de capacitación durante el resto del mes para poder desarrollar y probar nuevos enfoques para proteger sus modelos.
La decisión de entrenar estos modelos en entornos aislados de Internet es notable porque los empleados de los laboratorios fronterizos han insistido en que hacerlo sería casi inviable.
Mantener los centros de datos de IA separados de Internet “necesitaría que los equipos de investigación esencialmente estuvieran integrados dentro de los centros de datos en Iowa o en cualquier otro lugar del mundo”, dijo a Fortune este mes el ex investigador de OpenAI Steven Adler. «Es una gran cantidad de gastos generales, y no me queda claro que los beneficios de seguridad sean lo suficientemente grandes como para merecer el impuesto que sería para una empresa hacerlo unilateralmente».
«En casi todas las publicaciones que hago en X, sin falta, recibo entre cinco y diez comentarios sobre mi incapacidad para asegurar una zona de pruebas, o preguntando por qué diablos no podemos simplemente desconectar el modelo de Internet», escribió un ingeniero de seguridad anónimo de OpenAI en una publicación de septiembre en X. «Estos comentarios reflejan una brecha cada vez mayor entre la situación actual de muchas organizaciones y personas y lo que enfrentan los laboratorios fronterizos. También hay un malentendido general sobre cómo funcionan la capacitación y evaluación de modelos en estos laboratorios».
El ingeniero, cuyo papel ha sido confirmado previamente por OpenAI, describió cuán complejas son las sesiones de capacitación lanzadas por los ingenieros de OpenAI, señalando que requieren acceso a una variedad de recursos y herramientas en muchos dominios, y que miles de investigadores construyen, modifican y prueban los entornos. «¿Entonces es tan fácil como simplemente ponerlo en una caja de arena? No, no lo es», concluyó.
Ahora, OpenAI dice que “siempre debemos poder evitar que un modelo de frontera logre un acceso arbitrario y no autorizado a Internet en vivo”. Esto se produce después de que la compañía desplegara enjambres de agentes en ejercicios de equipos rojos que intentaron escapar de su zona de pruebas. Ese esfuerzo reveló una variedad de vulnerabilidades que convencieron al laboratorio de adoptar su nuevo enfoque.
Para cumplir con ese requisito y al mismo tiempo alcanzar sus objetivos de capacitación, el laboratorio dijo que creó «un vasto conjunto de contenido web indexado y almacenado en caché con el que nuestros modelos pueden interactuar, sin riesgo de afectar los sistemas externos».
Queda por ver si esa estrategia funcionará y permitirá que los modelos funcionen libremente en la Internet abierta, pero es digno de mención que ambos laboratorios fronterizos han determinado que su tecnología más poderosa no puede dejarse sin supervisión en los bienes comunes digitales.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.