La evaluación comparativa se ha convertido en la norma de la industria sobre cómo las empresas de IA validan las capacidades de sus modelos y, cuando las métricas oscilan a su favor, se destacan de sus competidores y anuncian su superioridad. En otras palabras, buenos puntos de referencia casi siempre significan buenas relaciones públicas.
Desafortunadamente, las empresas también han descubierto cómo burlar los sistemas heredados de evaluación comparativa, muchos de los cuales son más antiguos y no están diseñados para medir las capacidades de los modelos modernos.
Vals, una startup formada en 2024, dice que tiene la misión de arreglar este sistema tan imperfecto. En el lapso de menos de dos años, la compañía se ha establecido como una presencia notable en la industria tecnológica y, el año pasado, logró asegurar una ronda inicial liderada por 8VC y Bloomberg Beta. Luego, el mes pasado, después de un período de rápido crecimiento, recaudó 40 millones de dólares en una serie A dirigida por Andreessen Horowitz.
Rayan Krishnan, cofundador de la empresa, de 25 años, anteriormente realizó una pasantía en Palantir y, como estudiante universitario en Stanford, trabajó para Microsoft y el muy elogiado laboratorio de inteligencia artificial de la escuela. Krishnan dice que Vals nació de sus propias observaciones sobre cómo el benchmarking se estaba quedando atrás de los avances de la industria para la que fue diseñado.
“Estábamos viendo llegar rápidamente al mercado un montón de modelos nuevos y muy capaces, y los puntos de referencia académicos [were] no seguir el ritmo de ese avance fronterizo», comparte Krishnan. Dado que la IA está integrada en cada parte de la sociedad, realmente deberían existir puntos de referencia para verificar que los modelos pueden hacer lo que las empresas anuncian que pueden hacer, dijo Krishnan.
La semana pasada, el joven fundador me mostró la oficina de dos pisos de su empresa en Folsom Street de San Francisco, un antiguo edificio de ladrillo que, hace un siglo, sirvió como sede de una gran cervecería. En lugar de una producción industrial de cerveza, la estructura histórica ahora alberga una serie de nuevas empresas que buscan impulsar el futuro de la industria tecnológica.
«Históricamente, creo que la evaluación se ha hecho para evaluar la inteligencia de una manera muy abstracta», me dice Krishnan. «Por ejemplo, ¿los modelos conocen suficiente información para poder realizar una prueba tipo examen de la barra?»
Aquí Vals busca diferenciarse. Si bien muchos sistemas de evaluación comparativa ofrecen pruebas que están disponibles públicamente (esto puede permitir a una empresa entrenar su modelo con esas pruebas, posiblemente haciendo trampa en su examen), Vals no divulga públicamente sus materiales de prueba específicos. En lugar de medir el conocimiento general de un modelo de IA, Vals también evalúa los modelos según su capacidad para completar tareas complejas asociadas con industrias específicas como derecho, finanzas y codificación.
«Lo que estamos haciendo es analizar cuáles son los impactos reales de los modelos», dijo Krishnan. «¿Pueden realizar un trabajo que produzca un producto de la misma calidad que un ser humano en todos los ámbitos?»
La idea es comprobar no sólo los resultados positivos sino también los negativos, afirma. La esperanza es analizar cómo, “si estos modelos se desbocaran en el mundo, cuáles serían las implicaciones negativas”.
Las capacidades que mide Vals son crecientes. Además de las industrias más tradicionales, la startup continúa avanzando hacia terrenos más singulares. «Tenemos un punto de referencia en materia de superación personal recursiva. Estamos trabajando en salud mental, ciberseguridad, bioseguridad e incluso derecho de los conflictos armados para crear modelos que comprendan cómo aplicar la Convención de Ginebra», comparte Krishnan.
Las empresas pagan a Vals para que pruebe sus modelos, lo que puede ser un concepto extraño para entender. ¿Por qué una empresa pagaría para saber que su modelo no está funcionando bien? Pero tener una medición eficaz ayuda a las empresas a solucionar problemas y mejorar con el tiempo. Krishnan compara su modelo de ingresos con la forma en que un estudiante podría pagarle al College Board para tomar el SAT.
A su vez, estas evaluaciones se están convirtiendo en factores clave en la toma de decisiones para las empresas que buscan adquirir nuevos modelos de IA.
La startup reveló recientemente que sus ingresos actualmente son ocho veces mayores que el año pasado. Su plantilla también está creciendo. Vals, que comenzó el año con sólo ocho personas, ya se ha triplicado a un equipo de 25. Krishnan dijo que a medida que la startup crezca, el plan es trasladarse a una oficina significativamente más grande, así como incorporar de 10 a 15 personas adicionales. La compañía también lanzó recientemente un programa centrado en proporcionar evaluaciones de modelos a agencias federales.
Krishnan ve el sistema de evaluación comparativa de su empresa como el futuro de cómo piensan las empresas de IA sobre el crecimiento de sus negocios y el establecimiento de la confianza pública.
«Las empresas de IA están empezando a salir a bolsa. SpaceX salió a bolsa. Anthropic está previsto para finales de este año. Sospecho que OpenAI será público pronto. Creo que a medida que los modelos de IA se conviertan en una parte central de la economía y se difundan más ampliamente, los tipos de puntos de referencia y evaluaciones que hagamos impulsarán su uso y serán una parte central de cómo estas empresas presentan presentaciones públicas o hablan sobre las posibles inversiones que van a hacer en IA», dijo.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.