Con todo lo que se habla sobre cómo la IA algún día podría matarnos a todos, es fácil olvidar que la IA ya ha puesto en peligro la vida de algunos, no a través de armas biológicas, sino psicológicamente.
Por ejemplo, Character.AI resolvió varias demandas por muerte por negligencia a principios de este año presentadas por familias de usuarios menores de edad que se suicidaron después de interactuar con sus bots. Varias familias también han demandado a OpenAI por el supuesto papel de ChatGPT en los suicidios y delirios de sus seres queridos.
Hacer que la IA sea más segura en todos los idiomas y culturas es la misión de Circuit Breaker Labs, uno de los finalistas de Startup Battlefield 200 de 2026 de TechCrunch. (Circuit Breaker presentará en TechCrunch Disrupt, que se llevará a cabo este año en Moscone West en San Francisco del 13 al 15 de octubre).
Los fundadores Shirali y Arul Nigam, que son hermanos, fueron motivados por Sewell Setzer, el joven de 14 años que desarrolló un vínculo emocional con un chatbot Character.AI y le confesó pensamientos de hacerse daño a sí mismo antes de suicidarse. El chatbot, alegaron los padres en una demanda de 2024, lo animó. Es posible que el robot no haya entendido lo que realmente implicaban palabras como «Quiero estar contigo», dijo Arul, quien es el CTO de Circuit Breaker Labs.
«Muchas personas, especialmente jóvenes, recurren a estos sistemas en busca de apoyo y, por lo general, no reciben la ayuda que necesitan. Pero en muchos casos, están siendo perjudicados activamente y, lamentablemente, algunas personas ya se han quitado la vida», dijo Arul. «Ese tipo de vulnerabilidades de seguridad, donde las personas no necesariamente están tratando activamente de romper el sistema (lo hacen de manera natural) y el sistema tiene contaminación de contexto o no comprende los matices, y luego toma medidas realmente peligrosas, estamos tratando de evitar eso».
Circuit Breaker Labs ha creado agentes de inteligencia artificial que compara con un ejército de muñecos de pruebas de choque. Estos agentes imitan a personas de todas las edades, orígenes, idiomas y culturas, y se utilizan para probar modelos sobre su capacidad para detectar interacciones peligrosas y psicológicamente dañinas.
«La forma en que una niña de seis años se compara con un hombre de 45 años, o alguien que habla inglés como primer idioma versus un segundo idioma, o… jerga de jugador versus alguien que usa un tipo diferente de jerga, todos ellos realmente pueden hacer tropezar a un modelo», dijo Shirali, quien es el director ejecutivo de Circuit Breaker Labs. «Los modelos son muy buenos manejando patrones de habla estándar, pero en realidad nadie habla así, por lo que si el modelo no entiende los matices o la jerga, las cosas pueden ir muy mal».
La startup trabaja con expertos en dominios humanos para construir simulaciones de usuarios hiperrealistas con el fin de ejecutar pruebas de «equipo rojo» contra modelos, que son pruebas adversas destinadas a descubrir debilidades. Las pruebas están diseñadas para reflejar patrones de habla humana reales, jerga, lenguaje codificado y errores tipográficos. Luego, Circuit Breaker Labs ejecuta entre decenas de miles y cientos de miles de interacciones simuladas por día.
La idea es garantizar que un modelo pueda responder adecuadamente a interacciones riesgosas que puedan surgir con el tiempo y a lo largo de muchas conversaciones. Luego, Circuit Breaker Labs utiliza un método de puntuación patentado para crear puntuaciones auditables y explicables.
Circuit Breaker Labs funciona actualmente como un laboratorio de pruebas de seguridad de IA para aplicaciones de IA de alto riesgo, como entrenamiento de IA, diarios u otras aplicaciones de apoyo a la salud mental, aunque Arul se negó a nombrar a sus clientes principales. Aunque la startup tiene un producto funcional, se encuentra en sus primeras etapas y solo cuenta con cinco empleados, incluidos los hermanos Nigam.
Sin embargo, con el tiempo, la plataforma de prueba podría aplicarse a cualquier aplicación en la que alguien pueda caer en un agujero de “psicosis de IA”, donde el humano corre el riesgo de desarrollar una relación parasocial con un chatbot. Los ejemplos incluyen agentes “compañeros de trabajo” de IA, cuyas respuestas pueden variar de una interacción a otra.
«La gente se está volviendo más escéptica con respecto a la IA o más resistente a adoptarla en todos los ámbitos», dijo Arul, y agregó que si bien el escepticismo es saludable, prohibir una herramienta potencialmente valiosa por motivos de seguridad sería «regresivo».
Circuit Breakers Labs cree que la respuesta a esos temores es hacer que la IA sea más segura. «Queremos ayudar a generar esa confianza en la gente».
Venga a aprender mucho más sobre Circuit Breaker Labs y muchas otras nuevas empresas innovadoras que han sido examinadas por TechCrunch en nuestra competencia Startup Battlefield, que tendrá lugar en el centro de San Francisco del 13 al 15 de octubre.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.