xAI está demandando al fiscal general de Minnesota, Keith Ellison, por un ley aprobada en mayo que apunta ampliamente a aplicaciones de “nudificación”, afirmando que las disposiciones punitivas del estatuto Deje a la empresa «sin otra opción práctica que restringir las funciones de edición de imágenes de Grok Imagine de varias maneras». La ley, argumenta la empresa, viola la Primera Enmienda.
En enero, Grok inundó Internet con millones de deepfakes sexualmente explícitosincluido imagenes de menores. En otra época, un desastre de moderación de contenido de esta magnitud habría hecho que el CEO hubiera activado el interruptor de apagado del producto en cuestión de horas. Pero en el nuevo mundo feliz de Elon Musk, el chatbot tuvo que producir imágenes pornográficas durante días. «¡Grok ahora alcanza el puesto número 1 en la App Store en un país tras otro!» él publicó en medio de la epidemia de deepfake.
Algo había salido mal. ¿La ley simplemente no estaba a la altura de la tarea de frenar una explosión de desnudos no consentidos? Los gobiernos de todo el mundo se hacían preguntas bastante similares. La UE lanzó una investigaciónal igual que el Reino Unido. Hubo reacciones violentas de franceses, indios y malasios. funcionarios del gobierno. Y aunque el gobierno federal estadounidense se mostró notablemente más tranquilo sobre el tema, los estados azules como California y Minnesota adoptó una línea más dura.
En Minnesota, la legislatura estatal aprobó una ley dirigido a la tecnología de “nudificación”, prohibiendo a los propietarios de sitios permitir que las personas “accedan, descarguen o utilicen” dicho software. (La ley excluye la tecnología que “requiere la habilidad técnica de un usuario para desnudar una imagen o un video”, por lo que el acoso sexual personalizado a través de Photoshop está claro). El estatuto crea una causa de acción civil para individuos privados que deseen demandar, y también autoriza al fiscal general del estado a buscar sanciones de hasta $500,000 por violación.
La ley, promocionada como la primera de su tipo, fue firmada por el gobernador Tim Walz en mayo y entrará en vigor el 1 de agosto. Es un poco misterioso por qué xAI no presentó una demanda en los últimos tres meses y, en cambio, presentó la demanda sólo un par de días antes de que el estatuto entrara en vigor. Es el tipo de reacción tardía que te hace preguntarte si alguien en xAI se dio cuenta repentinamente la semana pasada de que estaba a punto de violar una ley bastante punitiva y luego pasó los siguientes días tratando de encontrar un bufete de abogados dispuesto a trabajar horas extras en nombre de un generador de deepfake no consensuado. Sólo cabe esperar que los abogados involucrados estén haciendo un gran trabajo.
El queja Es bastante razonable, considerando todo. La ley de Minnesota es demasiado amplia, argumenta, porque impone responsabilidad incluso por imágenes generadas de forma consensual, o imágenes de adultos que son simplemente una especie de sexy, o imágenes con mérito “humorístico” o “artístico”. La Primera Enmienda dicta que las leyes deben redactarse de manera estricta para evitar prohibir comentarios sociales y políticos como este deepfake de la lucha de sumo de Chris Christie y JB Pritzker.
«La responsabilidad también conlleva… incluso si la empresa ha implementado controles técnicos casi perfectos y de última generación para evitar la generación de imágenes de desnudos», afirma la demanda con un grado insoportable de seriedad. En otros lugares, se lamenta de la estricta responsabilidad que conlleva la conducta no autorizada de sus usuarios: «imágenes y vídeos que los usuarios podrían lograr crear en violación de los términos de servicio de Grok, lo cual sólo es posible evadiendo los controles sofisticados y de última generación que emplea xAI».
«xAI se toma en serio las violaciones de sus términos de servicio», afirma la demanda, señalando que la empresa Desde entonces, ha demandado a uno de sus usuarios por usar Grok para generar CSAM.. (La demanda contra el presunto fabricante de CSAM se presentó más de dos meses después de que se aprobara el estatuto de Minnesota).
Los abogados de xAI pueden tener razón, pero su demanda parece una misiva de otro planeta. Afirman, por ejemplo, que las leyes federales y de Minnesota existentes (como la QUITARLO Acto) ya impide la difusión no consentida de deepfakes de desnudos. Estos estatutos, argumentan los abogados, están redactados de manera constitucional; la ley de nudificación, en cambio, no lo es. Y como ocurre con cualquier ley en Estados Unidos que apunte a la expresión en función de su contenido, estos estatutos deben redactarse de la manera menos restrictiva posible y al mismo tiempo abordar un interés gubernamental “convincente”.
Pero ese es, por supuesto, el meollo del problema con el deepfake-ocalypse de Grok. Si la ley existente estuviera a la altura, todo el mes de enero de 2026 no habría estado inundado de pornografía no consensuada. cuando el Centro para la lucha contra el odio digital Analizó un período de 11 días del 29 de diciembre al 8 de enero y encontró que Grok había generado alrededor de 3 millones de imágenes sexualizadas. Alrededor de 23.000 de esas imágenes representaban a niños. «Es una tasa impactante: una imagen sexualizada de un niño cada 41 segundos», decía el informe.
Es posible que muchas de esas imágenes ni siquiera sean ilegales. Por ejemplo, no está claro que un deepfake sugestivo de una menor en bikini sea CSAM, aunque un experto dijo anteriormente El borde que otras imágenes generadas por Grok, como las que muestran rostros de menores cubiertos de semen, probablemente violaron la ley existente.
De cualquier manera, el mero hecho de que una empresa multimillonaria permitiera que Grok funcionara sin control durante tanto tiempo sugeriría que la ley no estaba motivando a las partes relevantes a comportarse de la manera correcta. Quizás el de Minnesota HF 1606 es una mala ley. Pero ¿qué significa eso cuando las “buenas” leyes ni siquiera funcionan?