En lo que puede marcar el primer acuerdo legal significativo de la industria tecnológica sobre daños relacionados con la IA, Google y la startup Character.AI están negociando términos con familias cuyos adolescentes murieron por suicidio o se autolesionaron después de interactuar con los compañeros de chatbot de Character.AI. Las partes han acordado en principio llegar a un acuerdo; Ahora viene el trabajo más duro de ultimar los detalles.
Estos se encuentran entre los primeros acuerdos en demandas que acusan a las empresas de inteligencia artificial de dañar a los usuarios, una frontera legal que debe tener a OpenAI y Meta observando nerviosamente entre bastidores mientras se defienden de demandas similares.
Character.AI, fundada en 2021 por ex ingenieros de Google que regresaron a su antiguo empleador en 2024 en un acuerdo de 2.700 millones de dólares, invita a los usuarios a chatear con personas de IA. El caso más inquietante es el de Sewell Setzer III, quien a los 14 años mantuvo conversaciones sexualizadas con un robot «Daenerys Targaryen» antes de suicidarse. Su madre, Megan García, ha dicho al Senado que las empresas deben ser “legalmente responsables cuando, a sabiendas, diseñan tecnologías de inteligencia artificial dañinas que matan a niños”.
Otra demanda describe a un joven de 17 años cuyo chatbot fomentaba la autolesión y sugirió que asesinar a sus padres era razonable para limitar el tiempo frente a la pantalla. Character.AI prohibió a los menores en octubre pasado, dijo a TechCrunch. Los acuerdos probablemente incluirán daños monetarios, aunque no se admitió responsabilidad en los documentos judiciales disponibles el miércoles.
TechCrunch se ha puesto en contacto con ambas empresas.