La policía actuó en tres chats de Claude en siete semanas, y dos usuarios enfrentan cargos penales

Entre el 11 de agosto y el 30 de septiembre, tres conversaciones con Claude de Anthropic llegaron a la policía. Dos de esos usuarios ahora enfrentan cargos por delito grave.

El tercero, un hombre de San Francisco que supuestamente amenazó al CEO Dario Amodei, no fue detenido.

Detención en San Antonio y una amenaza con un rifle AR-15 contra Amodei abren el mes de agosto

El primer chat se produjo el 11 de agosto en San Antonio. Nathaniel Michael Carrasco, de 22 años, le dijo a Anthropic AI que quería conseguir un arma y disparar contra estudiantes de la Escuela Primaria Serna, según un acta de denuncia.

La Sección de Operaciones de Amenazas Nacionales del FBI notificó a la policía local el 28 de agosto. Los oficiales vincularon a Carrasco con la cuenta mediante solicitudes de divulgación de emergencia a T-Mobile, Charter Communications y Google, que coincidieron con su número de teléfono, tráfico IP y dirección con la cuenta.

Carrasco fue arrestado el 30 de agosto, dijo la directora de la escuela, bajo un cargo de delito grave de tercer grado por amenaza terrorista que causó miedo público de lesiones corporales graves. Ella dijo que la escuela solo descubrió la amenaza específica contra su campus a través de la cobertura periodística.

Tres días después del chat en San Antonio, el 14 de agosto, un hombre supuestamente le dijo a Claude que había comprado un rifle AR-15 y tenía a Amodei “en su mira”, según un informe de la policía de San Francisco. El martes siguiente, Anthropic informó al SFPD.

Los oficiales establecieron que el hombre no estaba en la oficina de la empresa en la calle Howard 500.

Un portavoz de Anthropic declaró que la empresa bloqueó la cuenta y remitió el caso a las autoridades policiales, afirmando que era el proceso de salvaguardas funcionando como estaba previsto. A principios de septiembre, no había sido arrestado ni acusado.

El equipo de revisión de Anthropic envió mensajes el 26 de septiembre a los agentes del condado de Lee

La política de privacidad de Anthropic, que entró en vigor el 10 de septiembre, establece que puede compartir datos con las fuerzas del orden si tiene una creencia de buena fe de que es razonablemente necesario para prevenir daños graves. Sus términos de servicio reservan el derecho de informar a las autoridades policiales sobre las entradas, salidas o acciones de un usuario "a su entera discreción".

El informe de detención indicaba que Carli Michelle Heller, de Bonita Springs, Florida, escribió el 26 de septiembre que iba a “disparar indiscriminadamente” en la Oficina del Sheriff del Condado de Lee. Los investigadores dicen que al día siguiente escribió que había conseguido un arma nueva.

El informe indica que las declaraciones fueron detectadas por el sistema de monitoreo de Anthropic. Un equipo de revisión humana las remitió a las autoridades policiales debido a su gravedad.

Los agentes detuvieron a Heller en su domicilio sin incidentes. Se enfrenta a un cargo por hacer una amenaza escrita de violencia y tendrá una audiencia judicial en noviembre. El sheriff Carmine Marceno dijo que más tarde describió el uso de la IA como un diario.

«La inteligencia artificial es una herramienta poderosa y, como cualquier tecnología, puede ser mal utilizada», dijo Marceno en un comunicado.

En abril, Cryptopolitan informó que Anthropic comenzó a requerir una identificación gubernamental y una selfie en vivo para algunas funciones.

En agosto, Cryptopolitan informó que la empresa configuró la memoria de Claude para omitir temas de salud, política e identidad de género, a menos que los usuarios lo autorizaran expresamente.

Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.