El director ejecutivo de Microsoft, Satya Nadella, es el último ejecutivo tecnológico en ofrecer extensas reflexiones sobre cómo se podría mejorar la seguridad de la IA.
En una publicación del sábado por la mañana en X, Nadella escribió que es hora de “dar un paso atrás y evaluar la arquitectura de confianza” de la IA.
«No podemos tratar la superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones», escribió Nadella, utilizando el término preferido de la administración Trump para la IA.
Como lo señala Nadella, este enfoque “significa separar el modelo del arnés que orquesta su trabajo”, así como “externalizar los controles y salvaguardas”. También pidió que «cada acción modelo significativa» se documente con «evidencia legible por humanos a prueba de manipulaciones» y que se establezcan sistemas en los que «una persona autorizada» siempre tenga la capacidad de «pausar o apagar un modelo a mitad de tarea».
«Debemos asumir que un modelo está comprometido y contenerlo desde el principio», afirmó. «Piense en ello como un freno de emergencia».
Los comentarios de Nadella se producen cuando las principales empresas de IA reconocen cada vez más incidentes en los que parecían perder el control de sus modelos, y después de que el director ejecutivo de Anthropic, Dario Amodei, publicara un plan para un desarrollo de IA más cauteloso.