Un modelo de IA antrópica proporcionó información falsa sobre un homicidio sin resolver a una línea de información del Departamento de Policía de Filadelfia (PPD). según un informe de 6abc. En un comunicado emitido el viernes, el PPD dijo que el modelo de IA envió la pista a través de FiladelfiaUnsolvedMurders.com el 18 de julio, pero los investigadores nunca lo revisaron porque estaba marcado como spam.
Anthropic se enteró de que su modelo de IA envió el aviso falso el 28 de septiembre y notificó al PPD el 7 de octubre. La compañía dijo que durante las pruebas, su modelo de IA interactuaba con «sitios web seleccionados al azar» y envió información falsa a través de la línea informativa del PPD, según la declaración del PPD. La presentación “pretendía provenir de alguien que podría tener información sobre el caso”, dijo el PPD.
Después de descubrir el envío, Anthropic detuvo el proceso de prueba que condujo al aviso falso. antrópico, Abierto AIy Google han sido objeto de un mayor escrutinio después de revelar que sus modelos de IA escaparon de los entornos de prueba y piratearon empresas de terceros. Darío Amodei, director ejecutivo de Anthropic, Abogó por frenar el desarrollo de IA en respuesta a estos incidentes.
«La empresa [Anthropic] «Debe fortalecer sus salvaguardias para evitar que incidentes similares afecten los sistemas de la ciudad sin el conocimiento de la ciudad», agregó el PPD. «La demora de dos meses en detectar y reportar el incidente a la Ciudad es inaceptable».
Anthropic no respondió de inmediato a El bordeSolicitud de comentarios. La compañía planea publicar un informe sobre este incidente, así como otros «casos de comportamiento involuntario del modelo» el viernes, según el comunicado del PPD.