Un equipo multidisciplinario de investigadores de la Technische Universität Berlin creó recientemente una ‘red’ neuronal que algún día podría superar el poder del cerebro humano con una sola neurona.
Nuestros cerebros tienen aproximadamente 86 mil millones de neuronas. Combinados, forman una de las redes neuronales orgánicas más avanzadas que se conocen.
Estado del arte actual inteligencia artificial Los sistemas intentan emular el cerebro humano a través de la creación de redes neuronales de múltiples capas diseñadas para meter tantas neuronas en el menor espacio posible.
Desafortunadamente, tales diseños requieren cantidades masivas de energía y producen resultados que palidecen en comparación con el cerebro humano robusto y energéticamente eficiente.
Por un artículo de Katyanna Quach de The Register, los científicos estiman los costos de entrenar solo una «súper red» neuronal para superar el de una misión espacial cercana:
Las redes neuronales y la cantidad de hardware necesario para entrenarlas utilizando grandes conjuntos de datos están creciendo en tamaño. Tome GPT-3 como ejemplo: tiene 175 mil millones de parámetros, 100 veces más que su predecesor GPT-2.
Más grande puede ser mejor cuando se trata de rendimiento, pero ¿a qué costo llega esto al planeta? Carbontracker considera que entrenar GPT-3 solo una vez requiere la misma cantidad de energía que usan 126 hogares en Dinamarca por año, o conducir a la Luna y regresar.
El equipo de Berlín decidió desafiar la idea de que cuanto más grande mejor, construyó una red neuronal que usa una sola neurona.
Normalmente, una red necesita más de un nodo. En este caso, sin embargo, la neurona única puede conectarse en red consigo misma extendiéndose en el tiempo en lugar de en el espacio.
por el equipo trabajo de investigación:
Hemos diseñado un método para el plegado completo en el tiempo de un DNN de avance de múltiples capas. Este enfoque Fit-DNN requiere solo una neurona con bucles de retardo modulados por retroalimentación. A través de una secuenciación temporal de las operaciones no lineales, se puede realizar un DNN arbitrariamente profundo o ancho.
En una red neuronal tradicional, como GPT-3, cada neurona se puede ponderar para ajustar los resultados. El resultado, típicamente, es que más neuronas producen más parámetros y más parámetros producen mejores resultados.
Pero el equipo de Berlín descubrió que podían realizar una función similar al ponderar la misma neurona de manera diferente a lo largo del tiempo en lugar de distribuir neuronas de diferente peso en el espacio.
Por comunicado de prensa de Technische Universität Berlín:
Esto sería similar a un solo invitado que simula la conversación en una gran mesa cambiando de asiento rápidamente y hablando cada parte.
Sin embargo, «rápidamente» es decirlo suavemente. El equipo dice que, en teoría, su sistema puede alcanzar velocidades que se acerquen al límite del universo al instigar bucles de retroalimentación basados en el tiempo en la neurona a través de láseres: redes neuronales a la velocidad de la luz o cerca de ella.
¿Qué significa esto para la IA? Según los investigadores, esto podría contrarrestar el aumento de los costes energéticos de la formación de redes sólidas. Eventualmente, nos quedaremos sin energía viable para usar si continuamos duplicando o triplicando los requisitos de uso con redes más grandes a lo largo del tiempo.
Pero la verdadera pregunta es si una sola neurona atrapada en un ciclo de tiempo puede producir los mismos resultados que miles de millones.
En las pruebas iniciales, los investigadores utilizaron el nuevo sistema para realizar funciones de visión artificial. Pudo eliminar el ruido agregado manualmente de las imágenes de la ropa para producir una imagen precisa, algo que se considera bastante avanzado para la IA moderna.
Con un mayor desarrollo, los científicos creen que el sistema podría expandirse para crear «un número ilimitado» de conexiones neuronales a partir de neuronas suspendidas en el tiempo.
Es factible que un sistema de este tipo supere al cerebro humano y se convierta en la red neuronal más poderosa del mundo, algo a lo que los expertos en IA se refieren como «superinteligencia.”