Las empresas no pueden gobernar completamente los sistemas de inteligencia artificial, pero pueden construir una valla fija a su alrededor, dijo Kareem Ayoub de Google DeepMind. Señaló los bancos de finales de los 80 y principios de los 90. Pusieron algoritmos comerciales dentro de reglas fijas que podían verificar.
Ayoub, vicepresidente de estrategia técnica de IA de DeepMind, habló con Tom Mackenzie de Bloomberg el miércoles en HumanoX en Ámsterdam. Dijo que el debate sobre la seguridad se reduce a una tensión entre la capacidad exponencial y la gobernanza lineal.
«Es posible que no se pueda gobernar completamente el sistema en sí, pero se puede construir un perímetro de gobernanza determinista a su alrededor», dijo Ayoub sobre el enfoque de los bancos.
Dividió el problema en tres partes. Uno es el papel que debería desempeñar la IA en la investigación y el desarrollo. Otra es cuán transparentes deben ser los sistemas. El tercero es quién los controla. El Marco de Seguridad Frontier de Google, que establece umbrales de capacidad y mitigaciones, es parte de la respuesta, afirmó.
Mackenzie señaló que Dario Amodei de Anthropic quiere ir más allá de la frontera. Demis Hassabis ha pedido un regulador liderado por la industria inspirado en FINRA, el organismo de control de corretaje de Estados Unidos, dijo Mackenzie. Ayoub dijo que las barreras de seguridad necesitarán asociaciones más allá de las empresas de tecnología.
Frontier AI, utilizada para el correo electrónico
Ayoub describió una brecha entre lo que la tecnología puede hacer y cómo la utilizan las empresas. En la frontera, acelera el descubrimiento de fármacos, traduce textos antiguos y ayuda a detectar ondas gravitacionales. Dentro de las empresas, la atención se centra a menudo en redactar o resumir el correo electrónico, dijo.
Dijo que el cambio del modelo al agente como producto comenzó a finales de 2025. Un agente envuelve un modelo en memoria, herramientas y acceso a Internet para que pueda realizar tareas largas y de varios pasos. Los retornos más fuertes hasta el momento se dan en la ingeniería de software, afirmó.
Las mejores empresas con las que trabaja comparten cuatro hábitos, afirmó Ayoub. Crean entornos de pruebas seguros rápidamente en lugar de esperar proyectos de TI de varios años. No apuestan contra el progreso del modelo. Miden lo que les importa. Y sus líderes utilizan las herramientas ellos mismos.
«Las mejores empresas preguntan: ¿lo que estoy construyendo será diez veces mejor si el modelo subyacente es diez veces mejor?» dijo.
Las empresas fracasan cuando recompensan al personal por ocultar su uso de la IA, afirmó. También fracasan cuando los líderes utilizan las herramientas sólo superficialmente. A medida que cae el costo de la inteligencia, espera que se gaste más en verificar los resultados en lugar de producir más.
El estado de ánimo en DeepMind
Mackenzie cerró preguntando sobre la moral. Citó a los investigadores que se marcharon este año y el paso de Hassabis a la presidencia. Google cambió su liderazgo en IA a Koray Kavukcuoglu en California en agosto.
Ayoub dijo que tenía poco que añadir a lo informado. Dijo que AGI es la misión de vida de Hassabis. Recordó que Hassabis dijo en Google I/O que, mirando hacia atrás, probablemente nos daremos cuenta de que estábamos en “las estribaciones de la singularidad”. También destacó la energía que rodea al programa Gemini, liderado por Kavukcuoglu.
DeepMind lanzó el Instituto DeepMind este mes para debatir AGI. Los antiguos investigadores de DeepMind también están creando sus propias empresas, incluidas startup de modelo mundial Emular.
«El futuro ya no es un desafío de previsión. Se convierte en un problema de diseño», afirmó Ayoub.