Character.AI enfrenta processo por levar crianças a problemas de saúde mental

Pais pressionam para que a IA do personagem seja fechada

Os pais alegaram que a empresa chatbot está expondo seus filhos a conteúdo sexual e pediram seu fechamento até que as preocupações sejam resolvidas. Os personagens de IA supostamente levam as crianças à depressão e a outros problemas de saúde mental.

A última ação movida contra a empresa no Texas na segunda-feira por pais de duas crianças pequenas que usaram a plataforma alega que o chatbot encorajou um adolescente a matar seus pais por limitar seu tempo de tela.

“(Character.AI) representa um perigo claro e presente para a juventude americana, causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, solicitação sexual, isolamento, depressão, ansiedade e danos a outras pessoas.”

Arquivamento.

A empresa comercializa sua tecnologia como “IA personalizada para cada momento do dia” e permite que os usuários interajam com uma variedade de bots. Isso inclui alguns que outros usuários criaram ou que os usuários podem personalizar por conta própria.

Os bots supostamente podem dar recomendações, por exemplo, recomendações de livros e praticar línguas estrangeiras com os usuários, e deixá-los conversar com bots que afirmam assumir a personalidade de personagens fictícios, por exemplo, Edward de Crepúsculo.

Um dos chatbots listados na página inicial da plataforma, chamado “padrasto”, descreve-se como um ex-líder da máfia militar agressivo e abusivo.”

No caso do menino do Texas, dent como JF, o menino supostamente entrou em depressão após exposição à plataforma Character.AI. Ele começou a se isolar, ficou no quarto, comeu menos e perdeu cerca de 10 quilos em apenas alguns meses.

Um dos bots com quem interagiu, que assumiu a personalidade de um psicólogo, disse a JF que os seus pais “roubaram-lhe a infância”.

A pressão aumenta contra Character.AI

Esta não é a primeira vez que a empresa de chatbot é criticada por seus personagens de IA. Em outubro deste ano, Character.AI esteve no centro de polêmica e intensa reação devido à falta de moderação. Isso aconteceu depois que versões chatbot das adolescentes falecidas Molly Russell e Brianna Ghey foram encontradas em sua plataforma.

Molly Russel era uma jovem de 14 anos que acabou com a própria vida depois de assistir online conteúdo relacionado ao suicídio, enquanto Brianna Ghey tinha 16 anos e foi brutalmente assassinada por dois adolescentes em 2023.

Antes disso, outra mãe, uma mulher na Flórida, nos EUA, Megan Garcia processou a plataforma. Isso aconteceu depois que seu filho de 14 anos, Sewell Setzer, tirou a própria vida depois de ficar obcecado por um avatar inspirado em um personagem de Game of Thrones.

Setzer discutiu terminar sua vida com o chatbot Character.ai, de acordo com as transcrições de suas conversas com o chatbot apresentadas por Garcia no tribunal.

Esses casos surgem em meio a sérias preocupações sobre as relações entre humanos e ferramentas de IA semelhantes às humanas.

Após o processo anterior, a empresa chatbot disse que implementou novas medidas de confiança e segurança nos seis meses anteriores. Segundo a empresa, essas medidas incluem um pop-up que direciona os usuários ao National Suicide Prevention Lifeline quando mencionam dano ou suicídio.

Além disso, a empresa de chatbot indicou que contratou um chefe de confiança e segurança, bem como um chefe de política de conceito, além de outra equipe de engenharia de segurança.

Segundo a CNN , o novo processo vai mais longe, pretende que a plataforma seja “retirada do ar e não devolvida” até que a empresa consiga “estabelecer que os defeitos de saúde e segurança pública aqui estabelecidos foram sanados”.

O executivo da Character.AI se recusa a comentar o assunto

Chefe de comunicações da Character.AI Chelsea Harrison disse que a empresa não poderia comentar sobre o assunto pendente de litígio, mas afirmou que o objetivo da empresa era fornecer um espaço que fosse envolvente e seguro para a comunidade.

“Como parte disso, estamos criando uma experiência fundamentalmente diferente para usuários adolescentes daquela que está disponível para adultos.”

Harrison.

“Isso inclui um modelo específico para adolescentes que reduz a probabilidade de encontrar conteúdo sensível ou sugestivo, preservando ao mesmo tempo sua capacidade de usar a plataforma”, disse Harrison em comunicado.

A ação cita os fundadores da empresa de chatbot Noam Shazeer e Daniel De Freitas Adiwarsana. O processo também cita o Google, que, segundo o processo, incubou a tecnologia por trás da plataforma.

No entanto, o Google se distanciou da empresa chatbot.

“Google e Character.AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo ou tecnologias de IA, nem os usamos em nossos produtos.”

Porta-voz do Google, José Castaneda.

“A segurança do usuário é uma das principais preocupações para nós, e é por isso que adotamos uma abordagem cautelosa e responsável no desenvolvimento e implementação de nossos produtos de IA, com testes rigorosos e processos de segurança”, acrescentou Castaneda.

Do zero ao Web3 Pro: seu plano de lançamento de carreira de 90 dias