Los pioneros de la inteligencia artificial de aprendizaje profundo creen que su futuro se iluminará


Las redes neuronales profundas superarán sus deficiencias sin la ayuda de inteligencia artificial simbólica, tres pioneros del aprendizaje profundo argumentan en un artículo publicado en la edición de julio de la Comunicaciones de la ACM diario.

En su artículo, Yoshua Bengio, Geoffrey Hinton y Yann LeCun, ganadores del Premio Turing 2018, explican la actual desafíos del aprendizaje profundo y en qué se diferencia del aprendizaje en humanos y animales. También exploran los avances recientes en el campo que podrían proporcionar planos para las direcciones futuras de la investigación en el aprendizaje profundo.

Titulado «Aprendizaje profundo para IA, ”El documento prevé un futuro en el que los modelos de aprendizaje profundo pueden aprender con poca o ninguna ayuda de los humanos, son flexibles a los cambios en su entorno y pueden resolver una amplia gama de problemas reflexivos y cognitivos.

Los desafíos del aprendizaje profundo

Aprendizaje profundo a menudo se compara con los cerebros de humanos y animales. Sin embargo, los últimos años han demostrado que las redes neuronales artificiales, el componente principal utilizado en los modelos de aprendizaje profundo, carecen de la eficiencia, flexibilidad y versatilidad de sus contrapartes biológicas.

En su artículo, Bengio, Hinton y LeCun reconocen estas deficiencias. “El aprendizaje supervisado, aunque tiene éxito en una amplia variedad de tareas, generalmente requiere una gran cantidad de datos etiquetados por humanos. De manera similar, cuando el aprendizaje por refuerzo se basa solo en recompensas, requiere una gran cantidad de interacciones ”, escriben.

Aprendizaje supervisado es un subconjunto popular de algoritmos de aprendizaje automático, en el que se presenta un modelo con ejemplos etiquetados, como una lista de imágenes y su contenido correspondiente. El modelo está entrenado para encontrar patrones recurrentes en ejemplos que tienen etiquetas similares. Luego usa los patrones aprendidos para asociar nuevos ejemplos con las etiquetas correctas. El aprendizaje supervisado es especialmente útil para problemas en los que hay abundantes ejemplos etiquetados.

Aprendizaje reforzado es otra rama del aprendizaje automático, en la que un «agente» aprende a maximizar las «recompensas» en un entorno. Un entorno puede ser tan simple como un tablero de tic-tac-toe en el que un jugador de IA es recompensado por alinear tres X u O, o tan complejo como un entorno urbano en el que un jugador coche autónomo es recompensado por evitar colisiones, obedecer las reglas de tránsito y llegar a su destino. El agente comienza tomando acciones aleatorias. A medida que recibe retroalimentación de su entorno, encuentra secuencias de acciones que brindan mejores recompensas.

En ambos casos, como reconocen los científicos, los modelos de aprendizaje automático requieren una gran cantidad de trabajo. Los conjuntos de datos etiquetados son difíciles de conseguir, especialmente en campos especializados que no tienen conjuntos de datos públicos de código abierto, lo que significa que necesitan el trabajo duro y costoso de anotadores humanos. Y los modelos complicados de aprendizaje por refuerzo requieren recursos computacionales masivos para ejecutar una gran cantidad de episodios de entrenamiento, lo que los pone a disposición de unos pocos, laboratorios de inteligencia artificial y empresas tecnológicas muy ricas.

Bengio, Hinton y LeCun también reconocen que los sistemas actuales de aprendizaje profundo todavía son limitado en el alcance de los problemas que pueden resolver. Se desempeñan bien en tareas especializadas, pero «a menudo son frágiles fuera del ámbito estrecho en el que han sido entrenados». A menudo, cambios leves como algunos píxeles modificados en una imagen o una alteración muy leve de las reglas en el entorno puede hacer que los sistemas de aprendizaje profundo se desvíen.

La fragilidad de los sistemas de aprendizaje profundo se debe en gran medida a que los modelos de aprendizaje automático se basan en la suposición de «independiente e idénticamente distribuida» (i.i.d.), que supone que los datos del mundo real tienen la misma distribución que los datos de entrenamiento. i.i.d también asume que las observaciones no se afectan entre sí (por ejemplo, los lanzamientos de monedas o dados son independientes entre sí).

«Desde los primeros días, los teóricos del aprendizaje automático se han centrado en el supuesto iid … Desafortunadamente, este no es un supuesto realista en el mundo real», escriben los científicos.

La configuración del mundo real cambia constantemente debido a diferentes factores, muchos de los cuales son prácticamente imposibles de representar. sin modelos causales. Los agentes inteligentes deben observar y aprender constantemente de su entorno y de otros agentes, y deben adaptar su comportamiento a los cambios.

«[T]l rendimiento de los mejores sistemas de IA actuales tiende a verse afectado cuando van del laboratorio al campo ”, escriben los científicos.

El i.i.d. la suposición se vuelve aún más frágil cuando se aplica a campos como visión por computador y procesamiento del lenguaje natural, donde el agente debe lidiar con entornos de alta entropía. Actualmente, muchos investigadores y empresas intentan superar los límites del aprendizaje profundo mediante entrenar redes neuronales con más datos, esperando que los conjuntos de datos más grandes cubran una distribución más amplia y reduzcan las posibilidades de fallas en el mundo real.

Aprendizaje profundo vs IA híbrida

El objetivo final de los científicos de IA es replicar el tipo de inteligencia general que tienen los humanos. Y sabemos que los humanos no sufren los problemas de los sistemas de aprendizaje profundo actuales.

«Los seres humanos y los animales parecen ser capaces de aprender cantidades masivas de conocimiento previo sobre el mundo, en gran parte mediante la observación, de una manera independiente de la tarea», escriben Bengio, Hinton y LeCun en su artículo. “Este conocimiento sustenta el sentido común y permite a los humanos aprender tareas complejas, como conducir, con solo unas pocas horas de práctica”.

En otra parte del artículo, los científicos señalan: «[H]Los seres humanos pueden generalizar de una manera diferente y más poderosa que la generalización iid ordinaria: podemos interpretar correctamente combinaciones novedosas de conceptos existentes, incluso si esas combinaciones son extremadamente improbables bajo nuestra distribución de entrenamiento, siempre que respeten el nivel sintáctico y semántico de alto nivel. patrones que ya hemos aprendido «.

Los científicos brindan varias soluciones para cerrar la brecha entre la IA y la inteligencia humana. Un enfoque que ha sido ampliamente discutido en los últimos años es la inteligencia artificial híbrida que combina redes neuronales con sistemas simbólicos clásicos. La manipulación de símbolos es una parte muy importante de la capacidad de los humanos para razonar sobre el mundo. También es uno de los grandes desafíos de los sistemas de aprendizaje profundo.

Bengio, Hinton y LeCun no creen en mezclar redes neuronales e IA simbólica. En un video que acompaña al artículo de ACM, Bengio dice: “Hay quienes creen que hay problemas que las redes neuronales simplemente no pueden resolver y que tenemos que recurrir al enfoque simbólico de la IA clásica. Pero nuestro trabajo sugiere lo contrario «.

Los pioneros del aprendizaje profundo creen que mejores arquitecturas de redes neuronales eventualmente conducirán a todos los aspectos de la inteligencia humana y animal, incluida la manipulación de símbolos, el razonamiento, la inferencia causal y el sentido común.

Avances prometedores en el aprendizaje profundo

En su artículo, Bengio, Hinton y LeCun destacan los avances recientes en el aprendizaje profundo que han ayudado a progresar en algunos de los campos donde el aprendizaje profundo tiene dificultades.

Un ejemplo es el Transformador, una arquitectura de red neuronal que ha estado en el corazón de modelos de lenguaje como GPT-3 de OpenAI y Meena de Google. Uno de los beneficios de Transformers es su capacidad para aprender sin la necesidad de datos etiquetados. Los transformadores pueden desarrollar representaciones a través del aprendizaje no supervisado, y luego pueden aplicar esas representaciones para completar los espacios en blanco en oraciones incompletas o generar texto coherente después de recibir una indicación.

Más recientemente, los investigadores han demostrado que los Transformers también se pueden aplicar a tareas de visión por computadora. Cuando se combina con redes neuronales convolucionales, los transformadores pueden predecir el contenido de regiones enmascaradas.

Una técnica más prometedora es aprendizaje contrastivo, que intenta encontrar representaciones vectoriales de regiones faltantes en lugar de predecir valores de píxeles exactos. Este es un enfoque intrigante y parece estar mucho más cerca de lo que hace la mente humana. Cuando vemos una imagen como la de abajo, es posible que no podamos visualizar una representación fotorrealista de las partes faltantes, pero nuestra mente puede llegar a una representación de alto nivel de lo que podría ocurrir en esas regiones enmascaradas (p. Ej. , puertas, ventanas, etc.). (Mi propia observación: esto puede encajar bien con otras investigaciones en el campo que apuntan a alinear representaciones vectoriales en redes neuronales con conceptos del mundo real.)

El impulso para hacer que las redes neuronales dependan menos de los datos etiquetados por humanos encaja en la discusión de aprendizaje auto-supervisado, un concepto en el que está trabajando LeCun.

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad