La mayoría de las herramientas de investigación de IA apuntan a un modelo de lenguaje en la web y confían en el resultado. Saarth Shah construyó Sixtyfour basándose en el instinto opuesto: calificar todo y enviar solo lo que mejora la puntuación.
Saarth Shah lleva un marcador. Cada construcción de los agentes de investigación de Sixtyfour se califica según preguntas que un equipo de expertos reúne a mano y compara con casos del mundo real, vertical por vertical, y la calificación es lo único que decide qué se envía. La disciplina detrás de ese marcador es la razón por la que una empresa de pagos permitirá que su software, en lugar de un analista humano, decida si un extraño es real.
La mayoría de las herramientas de investigación de IA parten del mismo atajo: apuntar un modelo de lenguaje a la web abierta, pedirle que busque algo y dejarlo escribir. El resultado se lee bien. Lo que Shah decidió desde el principio fue si era correcto y cómo lo sabría alguien.
Durante un tiempo, la industria culpó alucinaciónel hábito de los modelos de inventar hechos y fuentes. Ese problema es real y poco a poco está mejorando. Modelos de frontera alucinan menos que hace un año, y combinarlos con búsquedas web en vivo ha reducido aún más la brecha. Pero el límite que le importa a Shah no es la imaginación del modelo. Es el alcance del modelo.
Un modelo de lenguaje con un cuadro de búsqueda ve lo que ve una persona con un navegador, y nada más. Los hechos que deciden una investigación generalmente se encuentran debajo de la superficie, en registros autorizados y de propiedad, en archivos no indexados y en las enredadas redes de entidades en las que se esconde el fraude. La investigación de superficie no puede llegar hasta ellos.
“Los modelos siguen mejorando y todavía solo ven lo que puede ver una persona con un navegador.» Dijo Shah. «Las respuestas que importan en este trabajo son unos niveles más profundos que eso, y tienes que ir a buscarlas.«
Aproximadamente el 96 por ciento de las empresas ahora operan Agentes de IAy la brecha entre un sistema que responde una pregunta y otro que la responde correctamente se ha convertido en el problema central de la IA de producción. Incluso los modelos más capaces todavía luchan en un trabajo profesional realista y de largo plazo, donde un solo paso en falso descarrila el resultado. Shah aprendió la lección años antes de que los puntos de referencia la confirmaran: la capacidad y la confiabilidad son propiedades diferentes, y la segunda debe diseñarse específicamente.
Lo que construyó es una forma diferente de sistema. Los agentes de Sixtyfour se encuentran entre dos opciones fallidas: las bases de datos estáticas que se vuelven obsoletas y los modelos generales que improvisan. Cada investigación fusiona investigaciones web en vivo, registros públicos, presentaciones legales y estatales, inteligencia de fuente abierta y datos con licencia, y luego los compila en un informe en el que cada reclamo apunta a su fuente. No se afirma nada que no pueda rastrearse hasta un documento, el tipo de procedencia que exigiría un tribunal.
En la práctica, una sola consulta se convierte en muchas. Pídale a Sixtyfour que verifique a un vendedor y sus agentes obtendrán archivos corporativos, compararán direcciones y funcionarios con referencias cruzadas, escanearán sanciones y registros de litigios y buscarán en la web en vivo la huella real de la empresa. Cuando un hilo lleva a alguna parte, el agente lo sigue, recopilando contexto hasta que pueda resolver la pregunta en lugar de detenerse en la primera respuesta plausible. El resultado es un expediente en el que cada línea enlaza con el documento subyacente, de modo que un revisor puede auditar el razonamiento de la máquina en lugar de confiar en ella.
La parte de la que Shah está más orgulloso es la parte que la mayoría de las empresas se saltan. Para cada dominio en el que trabajan sus agentes, creó sistemas de evaluación que miden su producción en comparación con respuestas conocidas, de modo que la empresa pueda demostrar con qué frecuencia tiene razón en lugar de afirmarla en un mazo de ventas. Tampoco envían ninguna mejora del producto a menos que muestren mejoras claras en el sistema de evaluación. Y cada día, están haciendo que su punto de referencia sea cada vez más difícil, utilizando muestras del mundo real que ven, para seguir superando la frontera.
“Cada respuesta tiene que mostrar su trabajo,» Dijo Shah. «Si no podemos señalar la presentación o el registro, no enviamos la respuesta. La cita es el producto, no la decoración.«
Construir esas evaluaciones fue una gran parte del trabajo necesario para ser el mejor del mundo, y la parte más difícil fue la verdad misma. Los proveedores de datos existentes no pueden servir como fuente de verdad; con demasiada frecuencia su información está desactualizada o es escasa. Entonces, para calificar a un agente en un caso realmente difícil, Sixtyfour a veces establece la respuesta de manera lenta, analizándola con investigadores humanos y luego convirtiéndola en una prueba que los agentes deben pasar. El objetivo es emparejar a los mejores investigadores y luego vencerlos, hasta que el conjunto de evaluación mida un estándar que ningún revisor podría alcanzar por sí solo.
La disciplina es implacable. Cada nueva herramienta que agrega el equipo se compara con el conjunto de evaluación antes de enviarse, y cuando una adición prometedora reduce la puntuación, vuelve a aparecer. Un rival puede copiar un diagrama de arquitectura en una tarde. No puede copiar años de ejecuciones graduadas de los sistemas de producción y los matices que empujan a los agentes de IA a hacerlo mejor.
Es por eso que Sixtyfour se ubica en la cima del punto de referencia de reconocimiento, por delante de sistemas de laboratorios que superan con creces su tamaño.
La competencia se optimiza para otras cosas. Parallel, una empresa de investigación web, busca respuestas largas y profundas. Exa crea una búsqueda semántica basada en incrustaciones para descubrimiento en lugar de verificación. Sesenta y cuatro mide algo más limitado y difícil: si una afirmación específica sobre una entidad específica es verificablemente cierta.
Luego está la parte que agrava. Cada investigación que ejecuta Sixtyfour resuelve las entidades que toca en un gráfico al que puede recurrir la siguiente investigación. Cuanto más se utiliza el sistema, más sabe.
“La milésima vez que investigas una red de vendedores, el gráfico hace la mitad del trabajo incluso antes de que un agente comience, y nos permite rastrear patrones como redes de fraude y redes de malos actores, todos conectados entre sí.» Dijo Shah. «Esa es la parte a la que no puedes comprar tu camino. Se gana una investigación a la vez.«
El enfoque está atrayendo la atención del exterior. En junio, Combinador Y invitó a Shah a hablar en su evento de pasantías, una charla en persona ante cientos de pasantes de toda su cartera junto con Jared Friedman de la empresa. “Trabaja en problemas difíciles,» les dijo. «A medida que las herramientas y los agentes de IA mejoran, el alfa pasa a problemas difíciles que requieren experiencia en el dominio y precisión casi perfecta. Una llamada incorrecta en nuestro dominio y alguien será denunciado, baneado o incluso arrestado.Para un fundador cuyo argumento es que la confiabilidad debe construirse en lugar de reclamarse, la invitación a enseñarla conllevaba su propio tipo de prueba.
Shah escribió él mismo gran parte del sistema original antes de que la empresa creciera hasta tener una docena de personas, y habla de corrección de la misma manera que otros fundadores hablan de crecimiento. La apuesta va contra la corriente de un campo que premia la fluidez: los compradores pagarán más por un sistema que sabe cuando no sabe que por uno que siempre tiene una respuesta lista. El marcador en su pantalla muestra cómo pretende demostrarlo, una carrera calificada a la vez.