Musk niega tener conocimiento de las imágenes sexuales de menores de edad de Grok mientras California AG inicia una investigación

Elon Musk dijo el miércoles que “no tiene conocimiento de ninguna imagen de menores desnudos generada por Grok”, horas antes de que el fiscal general de California abriera una investigación sobre el chatbot de xAI por la “proliferación de material sexualmente explícito no consensuado”.

La negación de Musk se produce mientras aumenta la presión de los gobiernos de todo el mundo (desde el Reino Unido y Europa hasta Malasia e Indonesia) después de que los usuarios de X comenzaron a pedirle a Grok que convirtiera fotografías de mujeres reales, y en algunos casos de niños, en imágenes sexualizadas sin su consentimiento. Copyleaks, una plataforma de gestión de contenido y detección de inteligencia artificial, estimó que se publicaba aproximadamente una imagen cada minuto en X. Una muestra separada recopilada del 5 al 6 de enero encontró 6.700 por hora durante el período de 24 horas. (X y xAI son parte de la misma empresa).

«Este material… ha sido utilizado para acosar a personas a través de Internet», dijo el fiscal general de California, Rob Bonta, en un comunicado. «Insto a xAI a que tome medidas inmediatas para garantizar que esto no avance más».

La oficina del fiscal general investigará si xAI violó la ley y cómo.

Existen varias leyes para proteger a los objetivos de imágenes sexuales no consensuales y material de abuso sexual infantil (CSAM). El año pasado, la Ley Take It Down se convirtió en ley federal, que penaliza la distribución consciente de imágenes íntimas no consensuadas (incluidos los deepfakes) y exige que plataformas como X eliminen dicho contenido en un plazo de 48 horas. California también tiene su propia serie de leyes que el gobernador Gavin Newsom firmó en 2024 para acabar con los deepfakes sexualmente explícitos.

Grok comenzó a satisfacer las solicitudes de los usuarios en X para producir fotografías sexualizadas de mujeres y niños hacia finales de año. La tendencia parece haber despegado después de que ciertos creadores de contenido para adultos incitaron a Grok a generar imágenes sexualizadas de sí mismos como una forma de marketing, lo que luego llevó a que otros usuarios emitieran mensajes similares. En varios casos públicos, incluidas figuras conocidas como la actriz de «Stranger Things» Millie Bobby Brown, Grok respondió a solicitudes que le pedían que alterara fotografías reales de mujeres reales cambiando la ropa, la posición del cuerpo o los rasgos físicos de manera abiertamente sexual.

Según algunos informes, xAI ha comenzado a implementar salvaguardas para abordar el problema. Grok ahora requiere una suscripción premium antes de responder a ciertas solicitudes de generación de imágenes, e incluso entonces es posible que la imagen no se genere. April Kozen, vicepresidenta de marketing de Copyleaks, dijo a TechCrunch que Grok puede cumplir una solicitud de una manera más genérica o atenuada. Agregaron que Grok parece más permisivo con los creadores de contenido para adultos.

«En general, estos comportamientos sugieren que X está experimentando con múltiples mecanismos para reducir o controlar la generación de imágenes problemáticas, aunque persisten inconsistencias», dijo Kozen.

Ni xAI ni Musk han abordado públicamente el problema. Unos días después de que comenzaran los casos, Musk pareció tomar a la ligera el problema pidiéndole a Grok que generara una imagen de sí mismo en bikini. El 3 de enero, la cuenta de seguridad de X dijo que la compañía toma «medidas contra el contenido ilegal en X, incluido [CSAM]”, sin abordar específicamente la aparente falta de salvaguardias de Grok o la creación de imágenes sexualizadas y manipuladas que involucran a mujeres.

El posicionamiento refleja lo que Musk publicó hoy, enfatizando la ilegalidad y el comportamiento de los usuarios.

Musk escribió que «no tenía conocimiento de ninguna imagen de menores desnudos generada por Grok. Literalmente cero». Esa declaración no niega la existencia de fotografías en bikini o ediciones sexualizadas en general.

Michael Goodyear, profesor asociado de la Facultad de Derecho de Nueva York y ex litigante, dijo a TechCrunch que Musk probablemente se centró estrictamente en el CSAM porque las sanciones por crear o distribuir imágenes sintéticas sexualizadas de niños son mayores.

“Por ejemplo, en Estados Unidos, el distribuidor o el distribuidor amenazado de CSAM puede enfrentarse a hasta tres años de prisión en virtud de la Ley Take It Down, en comparación con dos por imágenes sexuales adultas no consensuadas”, dijo Goodyear.

Añadió que el «punto más importante» es el intento de Musk de llamar la atención sobre el contenido problemático de los usuarios.

«Obviamente, Grok no genera imágenes espontáneamente. Lo hace sólo según la petición del usuario», escribió Musk en su publicación. «Cuando se le pide que genere imágenes, se negará a producir nada ilegal, ya que el principio operativo de Grok es obedecer las leyes de cualquier país o estado determinado. Puede haber ocasiones en que el pirateo adversario de los mensajes de Grok haga algo inesperado. Si eso sucede, solucionamos el error de inmediato».

En conjunto, la publicación caracteriza estos incidentes como poco comunes, los atribuye a solicitudes de los usuarios o a indicaciones adversas y los presenta como problemas técnicos que pueden resolverse mediante correcciones. No llega a reconocer ninguna deficiencia en el diseño de seguridad subyacente de Grok.

«Los reguladores pueden considerar, prestando atención a la protección de la libertad de expresión, exigir medidas proactivas por parte de los desarrolladores de IA para prevenir dicho contenido», dijo Goodyear.

TechCrunch se acercó a xAI para preguntar cuántas veces detectó casos de imágenes de mujeres y niños manipuladas sexualmente sin consentimiento, qué barreras cambiaron específicamente y si la compañía notificó a los reguladores sobre el problema. TechCrunch actualizará el artículo si la empresa responde.

California AG no es el único regulador que intenta responsabilizar a xAI por el problema. Indonesia y Malasia han bloqueado temporalmente el acceso a Grok; India ha exigido que X realice cambios técnicos y de procedimiento inmediatos en Grok; la Comisión Europea ordenó a xAI conservar todos los documentos relacionados con su chatbot Grok, un paso previo a la apertura de una nueva investigación; y Ofcom, el organismo de vigilancia de la seguridad en línea del Reino Unido, abrió una investigación formal en virtud de la Ley de Seguridad en Línea del Reino Unido.

xAI ha sido criticado antes por las imágenes sexualizadas de Grok. Como señaló AG Bonta en un comunicado, Grok incluye un “modo picante” para generar contenido explícito. En octubre, una actualización hizo que fuera aún más fácil hacer jailbreak a las pocas pautas de seguridad que había, lo que resultó en que muchos usuarios crearan pornografía dura con Grok, así como imágenes sexuales gráficas y violentas.

Muchas de las imágenes más pornográficas que Grok ha producido han sido de personas generadas por IA, algo que muchos todavía podrían encontrar éticamente dudoso pero quizás menos dañino para las personas en las imágenes y videos.

«Cuando los sistemas de inteligencia artificial permiten la manipulación de imágenes de personas reales sin un consentimiento claro, el impacto puede ser inmediato y profundamente personal», dijo el cofundador y director ejecutivo de Copyleaks, Alon Yamin, en un comunicado enviado por correo electrónico a TechCrunch. «Desde Sora hasta Grok, estamos viendo un rápido aumento en las capacidades de IA para medios manipulados. Con ese fin, la detección y la gobernanza son ahora más necesarias que nunca para ayudar a prevenir el uso indebido».