Yann LeCun de Meta apuesta por el aprendizaje autosupervisado para desbloquear la IA compatible con humanos

Este artículo es parte de nuestra cobertura de lo último en investigación de IA.

¿Cuál es el próximo paso para cerrar la brecha entre la inteligencia natural y la artificial? Los científicos e investigadores están divididos sobre la respuesta. Yann LeCun, científico jefe de inteligencia artificial en Meta y ganador del Premio Turing 2018, está apostando por el aprendizaje autosupervisado, modelos de aprendizaje automático que se pueden entrenar sin la necesidad de ejemplos etiquetados por humanos.

LeCun ha estado pensando y hablando sobre aprendizaje autosupervisado y no supervisado durante años. Pero a medida que su investigación y los campos de la IA y la neurociencia han progresado, su visión ha convergido en torno a varios conceptos y tendencias prometedores.

En una reciente evento realizado por Meta AILeCun discutió los posibles caminos hacia la IA a nivel humano, los desafíos que quedan y el impacto de los avances en IA.

Los modelos mundiales están en el corazón del aprendizaje eficiente

entre los conocidos límites del aprendizaje profundo Hay necesidad de datos de entrenamiento masivos y falta de robustez para tratar situaciones nuevas. Este último se conoce como «generalización fuera de distribución» o sensibilidad a los «casos extremos».

Esos son problemas que los humanos y los animales aprenden a resolver muy temprano en sus vidas. No necesita conducir por un precipicio para saber que su automóvil se caerá y chocará. Sabes que cuando un objeto ocluye a otro objeto, este último todavía existe aunque no se pueda ver. Sabes que si golpeas una pelota con un palo, la enviarás volando en la dirección del swing.

Aprendemos la mayoría de estas cosas sin recibir instrucciones explícitas, puramente por observación y actuación en el mundo. Desarrollamos un «modelo mundial» durante los primeros meses de nuestras vidas y aprendemos sobre la gravedad, las dimensiones, las propiedades físicas, la causalidad y más. Este modelo nos ayuda a desarrollar el sentido común y hacer predicciones confiables de lo que sucederá en el mundo que nos rodea. Luego usamos estos bloques de construcción básicos para acumular conocimientos más complejos.

Los sistemas de IA actuales son perdiendo este conocimiento de sentido comúnrazón por la cual están hambrientos de datos, requieren ejemplos etiquetados y son muy rígidos y sensibles a los datos fuera de distribución.

La pregunta que LeCun está explorando es, ¿cómo hacemos que las máquinas aprendan modelos del mundo principalmente por observación y acumulen el enorme conocimiento que acumulan los bebés solo por observación?

Aprendizaje autosupervisado

LeCun cree que aprendizaje profundo y redes neuronales artificiales jugará un papel importante en el futuro de la IA. Más específicamente, aboga por el aprendizaje autosupervisado, una rama de ML que reduce la necesidad de información y orientación humana en el entrenamiento de redes neuronales.

La rama más popular de ML es aprendizaje supervisado, en el que los modelos se entrenan en ejemplos etiquetados. Si bien el aprendizaje supervisado ha tenido mucho éxito en varias aplicaciones, su requisito de anotación por parte de un actor externo (en su mayoría humanos) ha demostrado ser un cuello de botella. Primero, los modelos de aprendizaje automático supervisados ​​requieren un enorme esfuerzo humano para etiquetar los ejemplos de entrenamiento. Y segundo, los modelos de ML supervisados ​​no pueden mejorar porque necesitan ayuda externa para anotar nuevos ejemplos de entrenamiento.

Por el contrario, los modelos de aprendizaje automático autosupervisados ​​aprenden observando el mundo, discerniendo patrones, haciendo predicciones (y, a veces, actuando y realizando intervenciones) y actualizando su conocimiento en función de cómo sus predicciones coinciden con los resultados que ven en el mundo. Es como un sistema de aprendizaje supervisado que hace su propia anotación de datos.

El paradigma del aprendizaje autosupervisado está mucho más en sintonía con la forma en que aprenden los humanos y los animales. Los seres humanos hacemos mucho aprendizaje supervisado, pero obtenemos la mayoría de nuestras habilidades fundamentales y de sentido común a través del aprendizaje autosupervisado.

El aprendizaje autosupervisado es un objetivo muy buscado en la comunidad de ML porque se anota una fracción muy pequeña de los datos que existen. Ser capaz de entrenar modelos ML en grandes almacenes de datos sin etiquetar tiene muchas aplicaciones.

En los últimos años, el aprendizaje autosupervisado se ha abierto camino en varias áreas de ML, que incluyen grandes modelos de lenguaje. Básicamente, un modelo de lenguaje autosupervisado se entrena al recibir extractos de texto en los que se han eliminado algunas palabras. El modelo debe tratar de predecir las partes que faltan. Dado que el texto original contiene las partes que faltan, este proceso no requiere etiquetado manual y puede escalar a corpus de texto muy grandes, como Wikipedia y sitios web de noticias. El modelo entrenado aprenderá representaciones sólidas de cómo se estructura el texto. Se puede utilizar para tareas como la generación de texto o ajustarse en tareas posteriores como la respuesta a preguntas.

Los científicos también han logrado aplicar el aprendizaje autosupervisado a tareas de visión artificial como imagenes medicas. En este caso, la técnica se llama «aprendizaje contrastivo», en el que se entrena una red neuronal para crear representaciones latentes de imágenes sin etiquetar. Por ejemplo, durante el entrenamiento, el modelo recibe diferentes copias de una imagen con diferentes modificaciones (por ejemplo, rotación, recortes, zoom, modificaciones de color, diferentes ángulos del mismo objeto). La red ajusta sus parámetros hasta que su salida permanece consistente a través de diferentes variaciones de la misma imagen. Luego, el modelo se puede ajustar en una tarea posterior con menos imágenes etiquetadas.

Abstracciones de alto nivel

Más recientemente, los científicos han experimentado con el aprendizaje autosupervisado puro en tareas de visión por computadora. En este caso, el modelo debe predecir las partes ocluidas de una imagen o el siguiente cuadro en un video.

Este es un problema extremadamente difícil, dice LeCun. Las imágenes son espacios de dimensiones muy altas. Hay formas casi infinitas en las que los píxeles se pueden organizar en una imagen. Los humanos y los animales son buenos para anticipar lo que sucede en el mundo que los rodea, pero no necesitan predecir el mundo a nivel de píxeles. Utilizamos abstracciones de alto nivel y conocimientos previos para filtrar intuitivamente el espacio de la solución y centrarnos en algunos resultados plausibles.

Por ejemplo, cuando ve un video de una pelota volando, espera que permanezca en su trayectoria en los siguientes fotogramas. Si hay una pared frente a él, esperas que rebote. Lo sabes porque tienes conocimientos de física intuitiva y sabes cómo funcionan los cuerpos rígidos y blandos.

Del mismo modo, cuando una persona te habla, esperas que sus rasgos faciales cambien a lo largo de los fotogramas. Su boca, ojos y cejas se moverán mientras hablan, pueden inclinar ligeramente o asentir con la cabeza. Pero no esperas que su boca y oídos cambien repentinamente de lugar. Esto se debe a que tiene representaciones de rostros de alto nivel en su mente y conoce las restricciones que gobiernan el cuerpo humano.

LeCun cree que el aprendizaje autosupervisado con este tipo de abstracciones de alto nivel será clave para desarrollar el tipo de modelos mundiales sólidos necesarios para la IA a nivel humano. Uno de los elementos importantes de la solución en la que está trabajando LeCun es la arquitectura predictiva de integración conjunta (JEPA). Los modelos JEPA aprenden representaciones de alto nivel que capturan las dependencias entre dos puntos de datos, como dos segmentos de video que se suceden. JEPA reemplaza el aprendizaje contrastivo con técnicas «regularizadas» que pueden extraer características latentes de alto nivel de la entrada y descartar información irrelevante. Esto hace posible que el modelo haga inferencias sobre información de alta dimensión, como datos visuales.

Los módulos JEPA se pueden apilar unos encima de otros para hacer predicciones y decisiones en diferentes escalas espaciales y temporales.

arquitectura modular

En el evento Meta AI, LeCun también habló sobre una arquitectura modular para la IA a nivel humano. El modelo mundial será un componente clave de esta arquitectura. Pero también necesitará coordinarse con otros módulos. Entre ellos se encuentra un módulo de percepción que recibe y procesa información sensorial del mundo. Un módulo de actor convierte las percepciones y predicciones en acciones. Un módulo de memoria a corto plazo realiza un seguimiento de las acciones y percepciones y llena los vacíos en la información del modelo. Un módulo de costos ayuda a evaluar los costos intrínsecos, o cableados, de las acciones, así como el valor específico de la tarea de los estados futuros.

Y hay un módulo configurador que ajusta todos los demás módulos en función de las tareas específicas que el sistema de IA quiere realizar. El configurador es extremadamente importante porque regula la atención limitada y los recursos de cómputo del modelo sobre la información que es relevante para sus tareas y objetivos actuales. Por ejemplo, si está jugando o viendo un partido de baloncesto, su sistema de percepción se centrará en características y componentes específicos del mundo (p. ej., la pelota, los jugadores, los límites de la cancha, etc.). En consecuencia, su modelo mundial intentará predecir las características jerárquicas que son más relevantes para la tarea en cuestión (p. ej., ¿dónde caerá el balón, a quién se le pasará el balón, el jugador que sostiene el balón lanzará o regateará?) y descartar las características irrelevantes (por ejemplo, las acciones de los espectadores, los movimientos y sonidos de los objetos fuera de la cancha de baloncesto).

LeCun cree que cada uno de estos módulos puede aprender sus tareas de forma diferenciable y comunicarse entre sí a través de abstracciones de alto nivel. Esto es más o menos similar al cerebro de humanos y animales, que tienen una arquitectura modular (diferentes áreas corticales, hipotálamo, ganglios basales, amígdala, tronco cerebral, hipocampo, etc.), cada uno de los cuales tiene conexiones con los demás y su propia estructura neuronal. , que paulatinamente se va actualizando con la experiencia del organismo.

¿Qué hará la IA a nivel humano?

La mayoría de las discusiones de IA a nivel humano se trata de máquinas que reemplazan la inteligencia natural y realizan todas las tareas que un humano puede hacer. Naturalmente, estas discusiones conducen a temas como el desempleo tecnológico, singularidad, inteligencia fuera de control e invasiones de robots. Los científicos están muy divididos sobre las perspectivas de la inteligencia artificial general. ¿Habrá tal cosa como la inteligencia artificial sin la necesidad de sobrevivir y reproducirse, el principal motor detrás de la evolución de la inteligencia natural? ¿Es la conciencia un requisito previo para AGI? ¿Tendrá AGI sus propios objetivos y deseos? ¿Podemos crear un cerebro en una tina y sin un caparazón físico? Esas son algunas de las preguntas filosóficas que aún no se han respondido a medida que los científicos avanzan lentamente hacia el objetivo largamente buscado de las máquinas pensantes.

Pero una dirección más práctica de la investigación es crear una IA que sea «compatible con la inteligencia humana». Esta, creo, es la promesa que encierra el área de investigación de LeCun. Este es el tipo de IA que quizás no sea capaz de hacer el próximo gran invento o escribir una novela convincente de forma independiente, pero seguramente ayudará a los humanos a ser más creativos y productivos y encontrar soluciones a problemas complicados. Probablemente hará que nuestras carreteras sean más seguras, nuestros sistemas de salud más eficientes, nuestra tecnología de predicción meteorológica más estable, nuestros resultados de búsqueda más relevantes, nuestros robots menos tontos y nuestros asistentes virtuales más útiles.

De hecho, cuando se le preguntó acerca de los aspectos más emocionantes del futuro de la IA a nivel humano, LeCun dijo que creía que era «la amplificación de la inteligencia humana, el hecho de que cada ser humano podría hacer más cosas, ser más productivo, más creativo, gastar más tiempo para realizar actividades, que es la historia de la evolución tecnológica”.

Este artículo fue publicado originalmente por Ben Dickson el TechTalks, una publicación que examina las tendencias en tecnología, cómo afectan la forma en que vivimos y hacemos negocios, y los problemas que resuelven. Pero también discutimos el lado malo de la tecnología, las implicaciones más oscuras de la nueva tecnología y lo que debemos tener en cuenta. Puedes leer el artículo original aquí.