Las redes neuronales artificiales son más similares al cerebro de lo que pensábamos.

Este artículo es parte de nuestro revisiones de trabajos de investigación sobre IA, una serie de publicaciones que exploran los últimos hallazgos en inteligencia artificial.

Considere el animal en la siguiente imagen. Si lo reconoce, una serie rápida de activaciones neuronales en su cerebro vinculará su imagen con su nombre y otra información que conozca (hábitat, tamaño, dieta, vida útil, etc.). Pero si como yo, nunca antes has visto este animal, tu mente ahora está corriendo a través de tu repertorio de especies animales, comparando colas, orejas, patas, narices, hocicos y todo lo demás para determinar a qué cubo pertenece esta extraña criatura. Su red neuronal biológica está reprocesando su experiencia pasada para lidiar con una situación nueva.

(fuente: Wikipedia)

Nuestros cerebros, perfeccionados a través de millones de años de evolución, son máquinas de procesamiento muy eficientes, clasifican la tonelada de información que recibimos a través de nuestras entradas sensoriales, asociando elementos conocidos con sus respectivas categorías.

Esa imagen, por cierto, es una civeta india, una especie en peligro de extinción que no tiene nada que ver con gatos, perros y roedores. Debe colocarse en su propia categoría separada (viverrids). Ahí tienes. Ahora tiene un nuevo cubo para colocar civetas, que incluye esta variante que fue vista recientemente en India.

Si bien todavía tenemos que aprender mucho sobre cómo funciona la mente, estamos en medio (o tal vez todavía al comienzo) de una era de crear nuestra propia versión del cerebro humano. Después de décadas de investigación y desarrollo, los investigadores han logrado crear redes neuronales profundas que a veces igualan o superan el desempeño humano en tareas específicas.

[Leer:[Read:Inteligencia artificial versus inteligencia aumentada: ¿cuál es la diferencia?]

Pero uno de los temas recurrentes en las discusiones sobre inteligencia artificial es si las redes neuronales artificiales se utilizan en aprendizaje profundo funcionan de manera similar a las redes neuronales biológicas de nuestros cerebros. Muchos científicos están de acuerdo en que las redes neuronales artificiales son una imitación muy aproximada de la estructura del cerebro, y algunos creen que los ANN son motores de inferencia estadística que no reflejan las muchas funciones del cerebro. Ellos creen que el cerebro contiene muchas maravillas que van más allá de la mera conexión de las neuronas biológicas.

Un artículo publicado recientemente en el revista revisada por expertos Neuron desafía la visión convencional de las funciones del cerebro humano. Titulado «Ajuste directo a la naturaleza: una perspectiva evolutiva sobre las redes neuronales biológicas y artificiales», el artículo discute que, contrariamente a las creencias de muchos científicos, el cerebro humano es un procesador de grandes datos de fuerza bruta que ajusta sus parámetros a los muchos ejemplos que Experimenta. Ese es el tipo de descripción que se suele dar a las redes neuronales profundas.

Escrito por investigadores de la Universidad de Princeton, el artículo que invita a la reflexión ofrece una perspectiva diferente sobre las redes neuronales, las analogías entre las ANN y sus contrapartes biológicas, y las direcciones futuras para crear sistemas de inteligencia artificial más capaces.

El desafío de interpretabilidad de AI

Los neurocientíficos generalmente creen que las funcionalidades complejas del cerebro se pueden dividir en modelos simples e interpretables.

Por ejemplo, puedo explicar el complejo proceso mental de mi análisis de la imagen de la civeta (antes de que supiera su nombre, por supuesto), como tal: «Definitivamente no es un pájaro porque no tiene plumas ni alas». Y ciertamente no es un pez. Probablemente sea un mamífero, dado el pelaje peludo. Podría ser un gato, dadas las orejas puntiagudas, pero el cuello es demasiado largo y la forma del cuerpo es un poco extraña. El hocico es un poco roedor, pero las patas son más largas que la mayoría de los roedores … «y finalmente llegué a la conclusión de que probablemente sea una especie de gato esotérica. (En mi defensa, es un pariente muy lejano de los felinos si insistes).

Sin embargo, las redes neuronales artificiales a menudo se descartan como cajas negras ininterpretables. No proporcionan explicaciones detalladas de su proceso de decisión. Esto es especialmente cierto cuando se trata de las complejas redes neuronales profundas que están compuestas por cientos (o miles de capas) y millones (o miles de millones) o parámetros.

Durante su fase de entrenamiento, las redes neuronales profundas revisan millones de imágenes y sus etiquetas asociadas, y luego ajustan sin pensar sus millones de parámetros a los patrones que extraen de esas imágenes. Estos parámetros ajustados les permiten determinar a qué clase pertenece una nueva imagen. No entienden los conceptos de nivel superior que acabo de mencionar (cuello, oreja, nariz, piernas, etc.) y solo buscan consistencia entre los píxeles de una imagen.

Los autores de «Direct Fit to Nature» reconocen que las redes neuronales, tanto biológicas como artificiales, pueden diferir considerablemente en su arquitectura de circuito, reglas de aprendizaje y funciones objetivas.

«Sin embargo, todas las redes utilizan un proceso de optimización iterativo para perseguir un objetivo, dada su entrada o entorno, un proceso al que nos referimos como» ajuste directo «», escriben los investigadores. El término «ajuste directo» se inspira en el proceso de ajuste ciego observado en la evolución, un proceso de optimización elegante pero sin sentido en el que diferentes organismos se adaptan a su entorno a través de una serie de transformaciones genéticas aleatorias llevadas a cabo durante un período muy largo.

«Este marco socava los supuestos de los enfoques experimentales tradicionales y establece un contacto inesperado con los debates de larga data en psicología del desarrollo y ecológica», escriben los autores.

Otro problema que enfrenta la comunidad de inteligencia artificial es la compensación entre la interpretabilidad y la generalización. Los científicos e investigadores buscan constantemente nuevas técnicas y estructuras que puedan generalizar las capacidades de IA en dominios más amplios. Y la experiencia ha demostrado que, cuando se trata de redes neuronales artificiales, escala mejora la generalización. Los avances en el hardware de procesamiento y la disponibilidad de grandes recursos informáticos han permitido a los investigadores crear y entrenar redes neuronales muy grandes en plazos razonables. Y estas redes han demostrado ser notablemente mejores para realizar tareas complejas como visión por computador y procesamiento natural del lenguaje.

Sin embargo, el problema con las redes neuronales artificiales es que cuanto más grandes se vuelven, más opacas se vuelven. Con su lógica extendida a través de millones de parámetros, se vuelven mucho más difíciles de interpretar que un modelo de regresión simple que asigna un coeficiente único a cada característica. Simplificar la estructura de las redes neuronales artificiales (por ejemplo, reducir el número de capas o variables) facilitará la interpretación de cómo mapean diferentes características de entrada a sus resultados. Pero los modelos más simples también son menos capaces de manejar los datos complejos y desordenados que se encuentran en la naturaleza.

«Argumentamos que el cálculo neuronal se basa en el ajuste directo de fuerza bruta, que se basa en algoritmos de optimización sobre parametrizados para aumentar el poder predictivo (generalización) sin modelar explícitamente la estructura generativa subyacente del mundo», los autores de «Direct Fit to Nature » escribir.

Problema de generalización de AI

Supongamos que desea crear un sistema de inteligencia artificial que detecte sillas en imágenes y videos. Idealmente, le proporcionaría al algoritmo algunas imágenes de sillas, y sería capaz de detectar todo tipo de normales, extravagantes y extravagantes.

Este es uno de los objetivos más buscados de la inteligencia artificial, crear modelos que puedan «extrapolar» bien. Esto significa que, dados algunos ejemplos de un dominio problemático, el modelo debería poder extraer las reglas subyacentes y aplicarlas a una amplia gama de ejemplos nuevos que no ha visto antes.

Cuando se trata de dominios de problemas simples (en su mayoría artificiales), podría ser posible alcanzar el nivel de extrapolación ajustando una red neuronal profunda a un pequeño conjunto de datos de entrenamiento. Por ejemplo, dichos niveles de generalización pueden lograrse en dominios con características limitadas, como el pronóstico de ventas y la gestión de inventario. (Pero como hemos visto en estas páginas, incluso estas modelos simples de IA pueden desmoronarse cuando un cambio fundamental llega a su entorno).

Pero cuando se trata de datos desordenados y desestructurados, como imágenes y texto, los enfoques de datos pequeños tienden a fallar. En las imágenes, cada píxel se convierte efectivamente en una variable, por lo que analizar un conjunto de imágenes de 100 × 100 píxeles se convierte en un problema con 10.000 dimensiones, cada una con miles o millones de posibilidades.

«En los casos en que hay no linealidades complejas e interacciones entre variables en diferentes partes del espacio de parámetros, la extrapolación de datos tan limitados está destinada a fallar», escriben los investigadores de Princeton.

El cerebro humano, creen muchos científicos cognitivos, puede confiar en reglas generativas implícitas sin estar expuesto a datos ricos del medio ambiente. Las redes neuronales artificiales, por otro lado, no tienen tales capacidades, la creencia popular es. Esta es la creencia de que los autores del desafío «Ajuste directo a la naturaleza».

Adaptación directa de redes neuronales al dominio del problema

«El muestreo denso del espacio problemático puede cambiar el problema de la predicción, convirtiendo un problema basado en extrapolación en un problema basado en interpolación», señalan los investigadores.

En esencia, con suficientes muestras, podrá capturar un área lo suficientemente grande del dominio del problema. Esto permite interpolar entre muestras con cálculos simples sin la necesidad de extraer reglas abstractas para predecir el resultado de situaciones que quedan fuera del dominio de los ejemplos de entrenamiento.

“Cuando la estructura de datos es compleja y multidimensional, es preferible un modelo de ajuste directo ‘sin sentido’, capaz de predicción basada en la interpolación dentro de un espacio de parámetros del mundo real, a un modelo explícito tradicional de ajuste ideal que no explica muchas variaciones en los datos «, escriben los autores de» Direct Fit to Nature «.

Junto con los avances en hardware informático, la disponibilidad de conjuntos de datos muy grandes ha permitido la creación de redes neuronales artificiales de ajuste directo en la última década. Internet es rico en todo tipo de datos de varios dominios. Los científicos crean grandes conjuntos de datos de aprendizaje profundo de Wikipedia, redes sociales, repositorios de imágenes y más. El advenimiento de la Internet de las Cosas (IoT) también ha permitido un rico muestreo de entornos físicos (carreteras, edificios, clima, cuerpos, etc.).

En muchos tipos de aplicaciones (es decir, algoritmos de aprendizaje supervisado), los datos recopilados aún requieren mucho trabajo manual para asociar cada muestra con su resultado. Sin embargo, la disponibilidad de Big Data ha permitido aplicar el enfoque de ajuste directo a dominios complejos que no se pueden representar con pocas muestras y reglas generales.

Un argumento en contra de este enfoque es el problema de la «cola larga», a menudo descrito como «casos extremos». Por ejemplo, en las clasificaciones de imágenes, uno de los problemas pendientes es que los conjuntos de datos de entrenamiento populares, como ImageNet proporciona millones de imágenes de diferentes tipos de objetos. Pero como la mayoría de las imágenes se tomaron en condiciones de iluminación ideales y desde ángulos convencionales, las redes neuronales profundas formadas en estos conjuntos de datos no reconocen esos objetos en posiciones raras.

«La larga cola no pertenece a nuevos ejemplos per se, sino a ejemplos de baja frecuencia o extraños (por ejemplo, una vista extraña de una silla, o una silla con forma de objeto no relacionado) o conducir en un nuevo contexto (como conducir en un tormenta de nieve o con una rueda pinchada) «, explicaron los coautores del artículo Uri Hasson, profesor del Departamento de Psicología y del Instituto de Neurociencia de Princeton, y Sam Nastase, investigador postdoctoral en el Instituto de Neurociencia de Princeton. TechTalks en comentarios escritos “Tenga en cuenta que los organismos biológicos, incluidas las personas, como los ANN, son malos para extrapolar a contextos que nunca experimentaron; p.ej. muchas personas fallan espectacularmente cuando conducen en la nieve por primera vez «.

Muchos desarrolladores intentan hacer que sus modelos de aprendizaje profundo sean más robustos agregando ciegamente más muestras al conjunto de datos de capacitación, con la esperanza de cubrir todas las situaciones posibles. Esto generalmente no resuelve el problema, porque las técnicas de muestreo no amplían la distribución del conjunto de datos, y los casos extremos permanecen descubiertos por las muestras de datos fácilmente recopiladas. La solución, argumentan Hasson y Nastase, es expandir la zona de interpolación al proporcionar un régimen de muestreo más ecológico e incorporado para las redes neuronales artificiales que actualmente funcionan mal en la cola de la distribución.

«Por ejemplo, muchas de las rarezas en la psicofísica visual humana clásica se resuelven trivialmente al permitir que el observador simplemente se mueva y muestree activamente el entorno (algo que hacen esencialmente todos los organismos biológicos)», dicen. “Es decir, el fenómeno de la cola larga es en parte una deficiencia de muestreo. Sin embargo, la solución no es necesariamente solo más muestras (que en gran parte provendrán del cuerpo de la distribución), sino que requerirán un muestreo más sofisticado observado en organismos biológicos (por ejemplo, búsqueda de novedades) «.

Esta observación está en línea con investigaciones recientes que muestran empleando una metodología de muestreo más diversa de hecho, puede mejorar el rendimiento de los sistemas de visión por computadora.

De hecho, la necesidad de tomar muestras de la cola larga también se aplica al cerebro humano. Por ejemplo, considere una de las críticas mencionadas contra autos sin conductor lo que plantea que sus habilidades se limitan a los entornos en los que han sido entrenados.

“Incluso los conductores más experimentados pueden encontrarse en un nuevo contexto donde no están seguros de cómo actuar. El punto es no entrenar un automóvil infalible, sino un automóvil autónomo que pueda conducir, como los humanos, en el 99 por ciento de los contextos. Dada la diversidad de contextos de conducción, esto no es fácil, pero quizás sea factible ”, dicen Hasson y Nastase. “A menudo sobreestimamos la capacidad de generalización de las redes neuronales biológicas, incluidos los humanos. Pero la mayoría de las redes neuronales biológicas son bastante frágiles; considere, por ejemplo, que elevar la temperatura del océano 2 grados causará estragos en ecosistemas completos «.

Desafiando viejas creencias

Muchos científicos critican los sistemas de IA que dependen de redes neuronales muy grandes, argumentando que el cerebro humano es muy eficiente en el uso de los recursos. El cerebro es una masa de materia de tres libras que usa poco más de 10 vatios de electricidad. Sin embargo, las redes neuronales profundas a menudo requieren servidores muy grandes que pueden consumir megavatios de potencia.

Pero aparte del hardware, la comparación de los componentes del cerebro con las redes neuronales artificiales pinta una imagen diferente. Las redes neuronales profundas más grandes están compuestas por unos pocos miles de millones de parámetros. El cerebro humano, en contraste, está constituido por aproximadamente 1,000 billones de sinapsis, el equivalente biológico de los parámetros ANN. Además, el cerebro es un sistema altamente paralelo, lo que hace que sea muy difícil comparar su funcionalidad con la de ANN.

«Aunque el cerebro ciertamente está sujeto a restricciones metabólicas y de cableado, no debemos comprometernos con un argumento a favor de la escasez de recursos computacionales mientras no comprendamos mal la maquinaria computacional en cuestión», escriben los investigadores de Princeton en su artículo.

Otro argumento es que, en contraste con los ANN, la red neuronal biológica del cerebro humano tiene mecanismos de entrada muy pobres y no tiene la capacidad de ingerir y procesar grandes cantidades de datos. Esto hace que sea inevitable para los cerebros humanos aprender nuevas tareas sin aprender las reglas subyacentes.

Para ser justos, calcular la entrada que ingresa al cerebro es complicado. Pero a menudo subestimamos la gran cantidad de datos que procesamos. “Por ejemplo, podemos estar expuestos a miles de ejemplos visuales de muchas categorías diarias al año, y cada categoría puede muestrearse en miles de vistas en cada encuentro, lo que resulta en un rico conjunto de capacitación para el sistema visual. Del mismo modo, con respecto al lenguaje, los estudios estiman que un niño está expuesto a varios millones de palabras por año ”, escriben los autores del artículo.

Más allá de las redes neuronales del Sistema 1

Sin embargo, una cosa que no se puede negar es que los humanos de hecho extraen reglas de su entorno y desarrollan pensamientos y conceptos abstractos que utilizan para procesar y analizar nueva información. Esta compleja manipulación de símbolos permite a los humanos comparar y dibujar analogías entre diferentes tareas y realizar un aprendizaje de transferencia eficiente. Comprender y aplicar la causalidad permanecen entre las características únicas del cerebro humano.

“Ciertamente, los humanos pueden aprender reglas abstractas y extrapolar a nuevos contextos de una manera que excede los ANN modernos. El cálculo es quizás el mejor ejemplo de aprender a aplicar reglas en diferentes contextos. Descubrir las leyes naturales en física es otro ejemplo, donde se aprende una regla muy general a partir de un conjunto de observaciones limitadas ”, dicen Hasson y Nastase.

Este es el tipo de capacidades que surgen no de las activaciones e interacciones de una sola red neuronal, sino que son el resultado del conocimiento acumulado en muchas mentes y generaciones.

Hasson y Nastase reconocen que esta es un área en la que los modelos de ajuste directo se quedan cortos. Científicamente, se llama pensamiento del Sistema 1 y del Sistema 2. El sistema 1 se refiere al tipo de tareas que se pueden aprender de memoria, como reconocer caras, caminar, correr, conducir. Puede realizar la mayoría de estas capacidades de manera inconsciente, mientras realiza otras tareas (por ejemplo, caminar y hablar con otra persona al mismo tiempo, conducir y escuchar la radio). El sistema 2, sin embargo, requiere concentración y pensamiento consciente (¿puedes resolver una ecuación diferencial mientras trotas?).

«En el documento, distinguimos las capacidades rápidas y automáticas del Sistema 1 de las funciones cognitivas lentas y deliberadas», dicen Hasson y Nastase. «Si bien el ajuste directo permite que el cerebro sea competente mientras está ciego a la solución que aprendió (similar a todas las soluciones funcionales desarrolladas en biología), y si bien explica la capacidad del Sistema 1 para aprender a percibir y actuar en muchos contextos, todavía no explica completamente un subconjunto de funciones humanas atribuidas al Sistema 2 que parece obtener una comprensión explícita de la estructura subyacente del mundo «.

So what do we need to develop AI algorithms that have System 2 capabilities? This is one area where there’s much debate in the research community. Some scientists, including deep learning pioneer Yoshua Bengio, believe that pure neural network-based systems will eventually lead to System 2 level AI. New research in the field shows that advanced neural network structures manifest the kind of symbol manipulation capabilities that were previously thought to be off-limits for deep learning.

In “Direct Fit to Nature,” the authors support the pure neural network–based approach. In their paper, they write: “Although the human mind inspires us to touch the stars, it is grounded in the mindless billions of direct-fit parameters of System 1. Therefore, direct-fit interpolation is not the end goal but rather the starting point for understanding the architecture of higher-order cognition. There is no other substrate from which System 2 could arise.”

An alternative view is the creation of hybrid systems that incorporate classic symbolic AI with neural networks. The area has drawn much attention in the past year, and there are several projects that show that rule-based AI and neural networks can complement each other to create systems that are stronger than the sum of their parts.

“Although non-neural symbolic computing—in the vein of von Neumann’s model of a control unit and arithmetic logic units—is useful in its own right and may be relevant at some level of description, the human System 2 is a product of biological evolution and emerges from neural networks,” Hasson and Nastase wrote in their comments to TechTalks.

In their paper, Hasson and Nastase expand on some of the possible components that might develop higher capabilities for neural networks. One interesting suggestion is providing a physical body for neural networks to experience and explore the world like other living beings.

“Integrating a network into a body that allows it to interact with objects in the world is necessary for facilitating learning in new environments,” Hasson and Nastase said. “Asking a language model to learn the meaning of words from the adjacent words in text corpora exposes the network to a highly restrictive and narrow context. If the network has a body and can interact with objects and people in a way that relates to the words, it is likely to get a better sense of the meaning of words in context. Counterintuitively, imposing these sorts of ‘limitations’ (e.g. a body) on a neural network can force the neural network to learn more useful representations.”

This article was originally published by Ben Dickson en TechTalks, a publication that examines trends in technology, how they affect the way we live and do business, and the problems they solve. But we also discuss the evil side of technology, the darker implications of new tech and what we need to look out for. You can read the original article aquí.