¿Son las ondas cerebrales el próximo desbloqueo de la IA física?

La frontera de la IA física es un juego de Jenga en un almacén en San Leandro, California.

Ese almacén está ocupado por Encord, una empresa que construye herramientas de datos utilizadas para entrenar modelos de IA. Andrew Ceja es piloto (el término que usa la compañía para sus entrenadores robóticos) y está sacando con cuidado bloques de madera de una torre tambaleante mientras usa unos auriculares con una cámara que rastrea lo que ve. Eso por sí solo es bastante común para recopilar datos de entrenamiento de robots, pero este auricular incluye sensores que miden sus ondas cerebrales mientras desmonta cuidadosamente la torre de bloques.

Encord es una de un pequeño pero creciente número de startups que apuestan a que la próxima limitación real para la robótica humanoide y de almacén no será la arquitectura del modelo sino la absoluta escasez de datos de entrenamiento físico del mundo real. En lugar de limitarse a ayudar a las empresas de robótica a gestionar los datos que tienen, Encord está construyendo un negocio en torno a la fabricación de los datos que no tienen.

El auricular de ondas cerebrales que usa Ceja fue construido por Zander Labs, una startup alemana de neurociencia que apuesta a que medir la actividad cerebral (para deducir estados mentales como error, intención y sorpresa) puede crear un conjunto de datos más útil para entrenar modelos. El trabajo de Encord con Zander es actualmente una prueba; Encord dice que el objetivo es construir un conjunto inicial de datos etiquetados con ondas cerebrales, ejecutarlo a través de modelos robóticos de clientes y evaluar si realmente mejora el rendimiento antes de decidir si ampliarlo.

Lucas Gehrke, un neurocientífico de Zander que supervisa el trabajo, dice que la cantidad de actividad cerebral utilizada en cualquier momento durante una tarea determinada ofrece pistas para los constructores de modelos que intentan determinar cuándo necesitan implementar sus modelos de mayor esfuerzo.

Esta es la “vanguardia” del esfuerzo por resolver el cuello de botella de los datos robóticos, según Vineeth Velmurugan, director de aprendizaje de robots de Encord. Velmurugan, veterano del laboratorio de robots de OpenAI y de Berkshire Grey, la empresa de automatización de almacenes, se unió a Encord para formar el equipo interno de creación de datos de la empresa.

Encord se fundó para ayudar a las empresas que crean aplicaciones de visión artificial a anotar datos y evaluar modelos. A medida que sus clientes (Velmurugan dice que trabajan con muchas empresas líderes en robótica pero que no está autorizado a nombrarlas) comenzaron a aplicar el aprendizaje de extremo a extremo a las tareas de manipulación robótica, los ejecutivos se dieron cuenta de que tendrían que producir datos de capacitación ellos mismos, en lugar de simplemente administrarlos. «Los datos simplemente no existen», afirmó Velmurugan.

La apuesta de que la IA generativa puede hacer por los robots lo que ha hecho por los chatbots sigue chocando contra el mismo muro. Los LLM se crearon a partir del texto de todo Internet y más. Encontrar las mismas materias primas para enseñar a las redes neuronales sobre la manipulación física es un desafío: las empresas de vehículos autónomos las recolectan ellas mismas, pero eso es difícil de escalar. El entrenamiento a partir de vídeo puede funcionar, pero carece de la fidelidad de los datos del mundo real. Velmurugan dice que se necesitará un conjunto de datos de aproximadamente cinco veces el tamaño del corpus de videos de YouTube para lograrlo, una escala que ayuda a explicar por qué la generación de datos en sí se ha convertido en un negocio y no sólo en un problema de investigación.

Alimente sus necesidades de datos egocéntricos

Las empresas que construyen cerebros de robots ahora están recurriendo a dos fuentes principales: videos “egocéntricos” recopilados por trabajadores que usan cámaras, a menudo aumentados con ángulos de cámara adicionales y otras métricas, y la recopilación de datos de robots operados de forma remota. Encord hace ambas cosas: extrae datos egocéntricos de varias fábricas de todo el mundo y utiliza sus instalaciones de San Leandro para experimentar con nuevas modalidades, como ondas cerebrales, o recopilar conjuntos de datos sobre habilidades específicas para realizar ajustes.

Cuando TechCrunch visitó, los pilotos estaban usando equipos de líder-seguidor (brazos robóticos emparejados, uno controlado directamente por un operador humano y otro que imita sus movimientos) para crear datos sobre tareas como servir café de una cafetera en tazas (muy chapoteante) y apilar fichas de póquer. «Todas las empresas humanoides nos han pedido estas piezas», dice Velmurugan.

Los estantes de almacenamiento contenían cajas de flores artificiales en jarrones, libros, vegetales de plástico, bandejas y palas de arena para gatos, bolsas y haces de cables, el material disponible para entrenar manipuladores para las tareas domésticas.

En una de estas estaciones, otra piloto, Sofía Infante, maniobra brazos robóticos para conectar y desconectar cables Ethernet de la parte posterior de un servidor: el tipo de trabajo que a los operadores de centros de datos les encantaría automatizar, si tan solo los robots pudieran manipularlos con la precisión requerida. Al dar una vuelta detrás de los controles, pude ver por qué eso todavía está fuera de mi alcance: las pinzas son mucho menos diestras que los dedos humanos y carecen de los grados de libertad que damos por sentado en nuestros brazos.

Otra nueva modalidad de datos que está desarrollando Encord utiliza un conjunto de sensores sujetos al antebrazo para detectar señales eléctricas en los músculos. Los vídeos tomados de manos humanas manipulando objetos normalmente no capturan la mano completa, pero Velmurugan espera construir una representación 3D de dónde está la mano en cualquier momento basándose en los sensores del brazo, creando una comprensión más sólida de los modelos.

Los conjuntos de datos de Encord están anotados con descripciones físicas de lo que contiene cada video (“la mano derecha aprieta el perno”) para ayudar a los modelos basados ​​en LLM a comprender lo que está sucediendo. Velmurugan estima que este tipo de anotación densa vale 100 veces más que los “datos basura del ego” para entrenar tareas específicas, y su producción solo cuesta 20 veces más, lo cual es un buen negocio, en papel.

Pero “20 veces más” sigue siendo dinero real, y ese es el problema: extraer texto de Internet, de la misma manera que los creadores de LLM construyeron sus modelos a partir de Stack Overflow y el resto de la web, cuesta a los laboratorios de vanguardia casi nada. La generación de datos de entrenamiento físico no, y ese es el límite de la comparación de la IA física como LLM. Este tipo de datos hay que fabricarlos, no simplemente recopilarlos, y eso cambia la economía de la construcción de estos modelos.

Velmurugan dice que se están logrando avances: con la visibilidad de Encord en los programas de toda la industria, puede ver que tanto las empresas emergentes como los laboratorios de vanguardia descubren qué funciona y qué no para mejorar los modelos físicos de IA. Ese punto de vista (entre muchas empresas de robótica a la vez) también es parte del discurso de Encord. Puede detectar qué técnicas de datos están ganando terreno en toda la industria antes de que lo pueda hacer un solo cliente.

Eso mantendrá ocupada a la docena de pilotos de las instalaciones de Encord. Tanto Infante como Ceja son parte de una creciente fuerza laboral que desarrolla los componentes básicos de las redes neuronales; Anteriormente trabajaron en Scale, otra empresa de anotación de datos de IA, antes de unirse a Encord.

Ceja había trabajado en una empresa de gestión de residuos donde su interés por la tecnología lo llevó a estar a cargo de mantener en buen funcionamiento un clasificador de basura robótico. Ahora, mientras la torre Jenga se derrumba, dice que disfruta el desafío de resolver tareas de entrenamiento para robots: «¡Es algo nuevo cada día!».