Los agentes de IA son cada vez más sofisticados. Están evolucionando de responder preguntas a ejecutar de forma autónoma tareas complejas de varios pasos.
Pero antes de que se pueda confiar en que estos agentes reserven viajes o realicen análisis financieros en nombre de los usuarios, los proveedores de modelos y las nuevas empresas que crean dichos agentes quieren asegurarse de que funcionen de manera confiable en una amplia gama de escenarios.
Los laboratorios de IA a menudo utilizan puntos de referencia para mostrar la destreza de su modelo, pero una puntuación alta, incluso en un punto de referencia orientado a agentes, en realidad no prueba que una IA pueda realizar correctamente varios trabajos complejos del mundo real.
Patronus AI, una startup fundada en 2023 por los ex investigadores de Meta AI Anand Kannappan y Rebecca Qian, está ayudando a los fabricantes de modelos y a las empresas a ajustar los modelos para hacer precisamente eso mediante la construcción de entornos digitales simulados en los que evaluar el desempeño de los agentes.
La startup con sede en San Francisco debe estar resolviendo un problema importante. Prácticamente todos los laboratorios de IA de vanguardia y muchas nuevas empresas emergentes son ahora clientes, según Glenn Solomon, director general de Notable Capital, quien describe la demanda de los entornos simulados de la empresa como casi insaciable.
Los ingresos de Patronus se multiplicaron por 15 durante el año pasado, lo que generó un importante interés de los inversores. El jueves, la compañía anunció una ronda Serie B de 50 millones de dólares liderada por Greenfield Partners, con la participación de Notable Capital, Lightspeed, Datadog y Samsung. La ronda eleva la financiación total de la empresa a 70 millones de dólares.
Patronus utiliza lo que llama “modelos del mundo digital” para crear réplicas de sitios web y sistemas internos. En estos entornos, los agentes son sometidos a pruebas de estrés después del entrenamiento utilizando el aprendizaje por refuerzo, que recompensa de forma iterativa la finalización exitosa de las tareas y penaliza los errores.
Los laboratorios de IA ven un gran valor en estas simulaciones digitales porque brindan a los agentes la oportunidad de probar escenarios diferentes, a veces impredecibles. La compañía compara su enfoque con cómo Waymo entrenó autos autónomos construyendo primero mundos sintéticos para probar vehículos contra peligros raros, como condiciones climáticas adversas o un niño corriendo detrás de una pelota.
La diferencia con los agentes de IA es que tienden a tomar atajos, lo que significa que no completan la tarea correctamente. «Patronus es realmente bueno para detectar los ataques y asegurarse de que responsabilicen a los modelos», dijo Solomon.
Patronus ofrece actualmente sus mundos digitales simulados para la ingeniería de software y las finanzas, pero esto es sólo el comienzo, según Kannappan.
«Hoy estamos muy centrados en los problemas que son verificables, es decir, en los problemas que se pueden comprobar y verificar de inmediato, pero hay muchas más áreas que no son verificables o son muy difíciles de verificar», dijo.
El hecho de que estos procesos sean verificables no significa que sean simples. «Queremos poder crear el entorno en el que se pueda operar un agente que pueda funcionar durante 10 horas, 10 días o 10 semanas», dijo Kannappan.
En cuanto a los rivales, Patronus cree que está compitiendo principalmente contra los equipos internos que los laboratorios de IA ya han creado para evaluar el comportamiento de los agentes. Mientras que las empresas de datos humanos como Mercor y Surge ayudan a los creadores de modelos con el aprendizaje por refuerzo, Patronus opera de manera diferente al evaluar cómo se comportan los agentes sin ninguna participación humana.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.