Thore Graepel, quien ayudó a construir AlphaGo de Google DeepMind, lanzó Metis Reasoning en Londres. La afirmación fundacional de la empresa es que no se puede confiar en que los grandes modelos lingüísticos razonen. En cambio, sus fundadores quieren aplicar las lecciones de AlphaGo al razonamiento general.
La empresa expuso su tesis en un papel blanco titulado “La era del razonamiento”. Graepel dejó Google DeepMind este verano, Tech.eu informó.
Sus cofundadores son Piers Ingram, un empresario de tecnología y biotecnología que ha recaudado más de 350 millones de dólares, y Michael Warren, un experto en robótica que trabajó en Boeing. El cuarto es David Berman, jefe de IA de Cambridge Consultants. También asesora al gobierno del Reino Unido y a la OTAN sobre IA. Tech.eu cifra el equipo en 12 personas. El libro blanco enumera oficinas en Londres, Singapur y Los Ángeles.
Lo que Metis dice que está mal con los LLM
El documento enumera tres problemas. Los LLM alucinan y nadie puede auditar su razonamiento. Los usuarios tampoco pueden inspeccionar el conocimiento detrás de una respuesta, porque se encuentra dentro de los pesos del modelo.
«Sin embargo, existe un conjunto importante de problemas que ninguna cantidad de escalamiento puede resolver», dice el documento técnico.
Sostiene que la “cadena de pensamiento” paso a paso de un modelo a menudo no refleja cómo llegó a su respuesta. Ingram expuso el caso empresarial de forma más directa.
«Cuando piensas en casos de mayor riesgo en ingeniería o ciencia, o en razonamiento médico o legal, básicamente no se puede confiar en los argumentos que presentan los modelos», dijo Ingram a Tech.eu.
La lección de AlphaGo
El artículo comienza con el Movimiento 37, que AlphaGo jugó contra Lee Sedol en 2016. Los expertos primero lo consideraron un error garrafal. La propia red de políticas de AlphaGo había evaluado la probabilidad de que un experto humano lo jugara en aproximadamente una entre 10.000. Los fundadores argumentan que el movimiento surgió de la búsqueda y evaluación, a lo que llaman razonamiento, más que de la predicción únicamente.
Metis quiere que la IA mantenga un registro explícito de lo que sabe y de su certeza. Un sistema de juicio separado aceptaría una nueva reclamación sólo cuando la evidencia la respalde. Luego, el sistema elegiría cada paso siguiente en función de cuánto reduzca la incertidumbre. El artículo modela esto basándose en la idea del filósofo Jaakko Hintikka del razonamiento como un juego entre el investigador y la naturaleza.
Al igual que en el juego automático de AlphaZero, el sistema aprendería mejores estrategias a partir de sus propias consultas grabadas. Metis dice que esto significaría menos alucinaciones y razonamientos que cualquiera podría comprobar paso a paso. Los usuarios también pueden actualizar o eliminar conocimientos sin volver a capacitarse. Los modelos más pequeños podrían manejar muchos pasos, lo que, según dice, podría reducir costos y dar sentido a los dispositivos y robots.
Ingram dijo a Tech.eu que el diseño es «mucho más eficiente en términos de computación» que los modelos de vanguardia.
«No vamos en absoluto en la dirección de modelos cada vez más grandes y presupuestos de formación cada vez mayores», afirmó.
Aún no hay modelo
El documento técnico describe un enfoque, no un producto, y no publica resultados de pruebas. Ingram dijo que Metis había logrado resultados «alentadores» en problemas de razonamiento fronterizo a una fracción del costo, sin dar cifras. Metis no ha dicho cuándo lanzará su primer modelo.
Ingram no quiso comentar sobre los informes de que Metis está recaudando decenas de millones de dólares. Dijo que Metis había recaudado dinero «más que adecuadamente hasta la fecha».
Metis se une a un grupo de nuevos laboratorios de inteligencia artificial en Londres dirigidos por ex alumnos de DeepMind y otros grandes nombres. ellos incluyen Inteligencia inefablefundado por el ex colega de AlphaGo de Graepel David Platay Richard Socher Superinteligencia recursiva. Ingram calificó el enfoque de Metis como «realmente un enfoque muy diferente, casi filosófico».