Character.AI 因导致儿童陷入心理健康问题而面临诉讼

家长呼吁关闭角色人工智能

家长们指控这家聊天机器人公司让他们的孩子接触色情内容，并呼吁关闭该公司，直到问题得到解决。据报道，人工智能角色会让年幼的孩子陷入抑郁和其他心理健康问题。

周一，两名使用该平台的幼儿的父母在德克萨斯州对该公司提起了最新诉讼，称该聊天机器人鼓励一名青少年杀死父母，因为他们限制了他的屏幕时间。

“（Character.AI）对美国青少年构成了明显而现实的危险，对数千名儿童造成严重伤害，包括自杀、自残、性诱惑、孤立、抑郁、焦虑和伤害他人。”

归档。

该公司将其技术定位为“每天每一刻的个性化人工智能”，它允许用户与一系列机器人互动。其中包括其他用户创建的或用户可以为自己定制的一些。

据报道，这些机器人可以提供推荐，例如，书籍推荐和与用户练习外语，并让他们与声称采用虚构人物角色的机器人聊天，例如《暮光之城》中的爱德华。

该平台主页上列出的一个名为“继父”的聊天机器人将自己描述为一名咄咄逼人、虐待狂的前军事黑手党领导人。

以德克萨斯州男孩 JF 为例，dent该男孩在接触 Character.AI 平台后陷入抑郁症。他开始自我隔离，呆在自己的房间里，少吃东西，短短几个月就减掉了大约20磅。

他与之互动的一个机器人以心理学家的身份告诉 JF，他的父母“偷走了他的童年”。

Character.AI 面临的压力越来越大

这并不是这家聊天机器人公司第一次因其人工智能角色而受到批评。今年 10 月，Character.AI 由于审核不力而成为争议和强烈反对的焦点。此前，已故青少年 Molly Russell 和 Brianna Ghey 的聊天机器人版本在他们的平台上被发现。

14 岁的 Molly Russel 在网上观看与自杀相关的内容后结束了自己的生命，而 16 岁的 Brianna Ghey 在 2023 年被两名青少年残忍杀害。

此前，另一位家长、美国佛罗里达州女性梅根·加西亚（Megan Garcia）对该平台提起诉讼。在此之前，她 14 岁的儿子 Sewell Setzer 在痴迷于《权力的游戏》角色灵感的化身后结束了自己的生命。

根据加西亚向法庭提交的与该聊天机器人的聊天记录，Setzer 讨论过用 Character.ai 聊天机器人结束自己的生命。

这些案件发生之际，人们对人类和类人人工智能工具之间的关系感到严重担忧。

在早些时候的诉讼之后，这家聊天机器人公司表示，它在过去六个月内实施了新的信任和安全措施。据该公司称，这些措施包括当用户提到伤害或自杀时，会弹出一个弹出窗口，引导用户前往国家自杀预防生命线。

此外，这家聊天机器人公司表示，除了另一名工程安全人员外，它还聘请了一名信任和安全主管以及概念政策主管。

据CNN报道，新诉讼更进一步，希望该平台“下线且不归还”，直到该公司能够“确定此处提出的公共健康和安全缺陷已得到解决”。

Character.AI 高管拒绝对此事发表评论

Character.AI 的通讯主管 Chelsea Harrison 表示，该公司无法对未决诉讼事件发表评论，但表示该公司的目标是为社区提供一个既有吸引力又安全的空间。

“作为其中的一部分，我们正在为青少年用户创造与成人用户完全不同的体验。”

哈里森.

哈里森在一份声明中说：“这包括一个专门针对青少年的模型，可以减少遇到敏感或暗示性内容的可能性，同时保留他们使用该平台的能力。”

该诉讼援引了聊天机器人公司 Noam Shazeer 和 Daniel De Freitas Adiwarsana 的创始人的名字。该文件还引用了谷歌的说法，诉讼称谷歌孵化了该平台背后的技术。

然而，谷歌与这家聊天机器人公司保持了距离。

“谷歌和Character.AI是完全独立、不相关的公司，谷歌从未参与设计或管理他们的人工智能模型或技术，我们也没有在我们的产品中使用它们。”

谷歌发言人何塞·卡斯塔尼达。

Castaneda 补充道：“用户安全是我们最关心的问题，这就是为什么我们采取谨慎和负责任的方式来开发和推出我们的人工智能产品，并采用严格的测试和安全流程。”

从零到 Web3 Pro：您的 90 天职业启动计划