Character.AI enfrenta una demanda por llevar a niños a problemas de salud mental

Los padres presionan para que se cierre la IA de personajes

Los padres han alegado que la compañía de chatbots está exponiendo a sus hijos a contenido sexual y pidieron su cierre hasta que se resuelvan las preocupaciones. Según se informa, los personajes de IA empujan a los niños pequeños a la depresión y otros problemas de salud mental.

La última demanda presentada contra la compañía en Texas el lunes por padres de dos niños pequeños que usaron la plataforma alega que el chatbot alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.

"(Character.AI) representa un peligro claro y presente para la juventud estadounidense, causando daños graves a miles de niños, incluido el suicidio, la automutilación, la solicitación sexual, el aislamiento, la depresión, la ansiedad y el daño a los demás".

Presentación.

La empresa comercializa su tecnología como "IA personalizada para cada momento del día" y permite a los usuarios interactuar con una variedad de bots. Estos incluyen algunos que otros usuarios crearon o que los usuarios pueden personalizar por sí mismos.

Según se informa, los bots pueden dar recomendaciones, por ejemplo, recomendaciones de libros y practicar idiomas extranjeros con los usuarios, y permitirles chatear con bots que afirman tomar la personalidad de personajes ficticios, por ejemplo, Edward de Crepúsculo.

Uno de los chatbots que figuran en la página de inicio de la plataforma llamado “padrastro” se describe a sí mismo como un líder mafioso exmilitar agresivo y abusivo”.

En el caso del niño de Texas, dent como JF, el niño supuestamente cayó en depresión después de la exposición a la plataforma Character.AI. Comenzó a aislarse, se quedó en su habitación, comió menos y perdió alrededor de 20 libras en tan solo unos meses.

Uno de los robots con los que interactuó, que tomó la personalidad de un psicólogo, le dijo a JF que sus padres "le robaron su infancia".

La presión aumenta contra Character.AI

Esta no es la primera vez que la empresa de chatbot ha sido criticada por sus personajes de IA. En octubre de este año, Character.AI estuvo en el centro de una controversia y una intensa reacción debido a su mala moderación. Esto se produjo después de que se encontraran en su plataforma versiones de chatbot de las adolescentes fallecidas Molly Russell y Brianna Ghey.

Molly Russel era una joven de 14 años que acabó con su propia vida después de ver contenido relacionado con el suicidio en línea, mientras que Brianna Ghey era una joven de 16 años que fue brutalmente asesinada por dos adolescentes en 2023.

Antes de esto, otra madre, una mujer de Florida en Estados Unidos, Megan García, demandó a la plataforma. Esto se produjo después de que su hijo, Sewell Setzer, de 14 años, se quitara la vida después de estar obsesionado con un avatar inspirado en un personaje de Game of Thrones.

Setzer habló sobre poner fin a su vida con el chatbot Character.ai, según las transcripciones de sus conversaciones con el chatbot presentadas por García en el tribunal de justicia.

Estos casos se producen en medio de serias preocupaciones sobre las relaciones entre los humanos y las herramientas de inteligencia artificial similares a las humanas.

Tras la demanda anterior, la empresa de chatbot dijo que había implementado nuevas medidas de confianza y seguridad durante los seis meses anteriores. Según la compañía, estas medidas incluyen una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando mencionan daño o suicidio.

Además, la empresa de chatbot indicó que había contratado a un jefe de confianza y seguridad, así como a un jefe de política conceptual, además de otro personal de ingeniería de seguridad.

Según CNN , la nueva demanda va más allá: quiere que la plataforma sea "desconectada y no devuelta" hasta que la empresa pueda "establecer que los defectos de salud y seguridad pública establecidos en este documento han sido subsanados".

El ejecutivo de Character.AI se niega a comentar sobre el asunto

La jefa de comunicaciones de Character.AI, Chelsea Harrison, dijo que la compañía no podía comentar sobre el asunto pendiente de litigio, pero afirmó que el objetivo de la compañía era proporcionar un espacio que sea atractivo y seguro para la comunidad.

"Como parte de esto, estamos creando una experiencia fundamentalmente diferente para los usuarios adolescentes de la que está disponible para los adultos".

Harrison.

"Esto incluye un modelo específicamente para adolescentes que reduce la probabilidad de encontrar contenido sensible o sugerente mientras preserva su capacidad de usar la plataforma", dijo Harrison en un comunicado.

La demanda cita a los fundadores de la empresa de chatbot Noam Shazeer y Daniel De Freitas Adiwarsana. La presentación también cita a Google, que según la demanda incubó la tecnología detrás de la plataforma.

Sin embargo, Google se distanció de la empresa de chatbot.

"Google y Character.AI son empresas completamente separadas y no relacionadas, y Google nunca ha tenido un papel en el diseño o la gestión de su modelo o tecnologías de IA, ni los hemos utilizado en nuestros productos".

El portavoz de Google, José Castañeda.

"La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar e implementar nuestros productos de IA, con pruebas rigurosas y procesos de seguridad", añadió Castaneda.

De cero a Web3 Pro: su plan de lanzamiento profesional de 90 días