Anthropic advierte que está muy cerca de la capacidad RSI, también conocida como IA de autoconstrucción

Si bien mucha atención se ha centrado en las finanzas actualizadas que Anthropic reveló en su S-1A revisada el lunes (los ingresos están aumentando, pero también los gastos), el laboratorio de IA arrojó otra pequeña bomba en la letra pequeña.

La presentación parece advertir que la empresa está a punto de crear un modelo capaz de realizar una automejora recursiva (RSI).

RSI es el punto en el que la IA se vuelve tan buena entrenándose a sí misma que genera una aceleración dramática de las capacidades de la IA. Para los condenados por la IA, RSI representa el cataclismo del que no hay retorno, en el que la IA se convierte en algo lo suficientemente poderoso como para escapar del control humano y puede ser indiferente al daño que causa mientras logra sus objetivos.

Para los entusiastas de la IA, RSI, o alguna versión de IA que se utilice de manera confiable para mejorar, representa la promesa de la tecnología, donde se convierte en una herramienta de productividad inimaginable, descubrimiento científico y más.

Anthropic parece creer que el RSI es tanto una promesa como un peligro. En el S-1 dice que utiliza IA en su I+D, pero advierte: «El uso de IA para ayudar a construir una IA más capaz también podría representar un riesgo de seguridad considerable, particularmente si acelera drásticamente el ritmo del progreso. Esta es una de las áreas cubiertas por nuestra Política de Escalamiento Responsable, que establece nuestros planes para monitorear y mitigar los riesgos a medida que nos acercamos a lo que se ha denominado ‘superación personal recursiva'».

Cuando el término RSI se hizo popular a principios de este año, muchos creyeron que era una palabra de moda o, en el mejor de los casos, un objetivo demasiado difícil de lograr, definir o demostrar.

Pero el lunes, Anthropic agregó nuevas declaraciones a su sección de Factores de riesgo, diciendo 1) ya ha utilizado IA para desarrollar nuevos modelos cuyos saltos en capacidad no reconoció en ese momento 2) pronto podría cumplir con su propia definición interna de RSI (énfasis en negrita nuestro, a continuación):

Además, nuestro uso cada vez mayor de sistemas de inteligencia artificial para acelerar nuestra propia investigación y desarrollo puede hacer que las capacidades de nuestros modelos avancen más rápidamente que nuestra capacidad para desarrollar, validar e implementar las medidas de seguridad, alineación y protección correspondientes. Como resultado, en el pasado no nos hemos identificadoy es posible que en el futuro no identifiquemos, una aceleración significativa en nuestro ritmo de desarrollo hasta que haya ocurrido.

Por ejemplo, nuestras estimaciones internas y nuestras expectativas con respecto a modelos futuros, en lugar de nuestros modelos actuales, indican que podemos cumplir inminentemente la definición de nuestra Política de Escalamiento Responsable de «progreso dramáticamente acelerado atribuible a la IA». No hemos designado que ninguno de nuestros modelos actuales supere este umbral y continuamos evaluando los datos subyacentes.

Sin embargo, Anthropic también dijo en la presentación que ninguno de sus modelos ha cruzado este umbral de RSI todavía y que promete mantener a los humanos en el proceso de I+D en el futuro previsible. «No anticipamos poder utilizar Claude de forma segura para diseñar y construir de forma totalmente autónoma generaciones sucesivas de modelos de frontera sin supervisión o comprensión humana significativa, siempre y cuando eso sea técnicamente posible. En consecuencia, estamos considerando actualizaciones de nuestra Política de Escalamiento Responsable para mantener a los humanos en control del desarrollo del modelo de frontera en Anthropic».

Los escépticos podrían señalar que un S-1 funciona como divulgación y marketing, y que las afirmaciones de estar cerca de un modelo tan poderoso que puede construirse por sí mismo podrían caer en la última categoría.

Sin embargo, no hay duda de que las capacidades de Claude, especialmente en términos de codificación, matemáticas y ciberseguridad, han crecido a pasos agigantados este año. Si Anthropic cree que la posibilidad de RSI es cercana, tal vez deberíamos creerlo y actuar, tal vez gobernar, en consecuencia.