Character.AI 因導致兒童陷入心理健康問題而面臨訴訟

家長呼籲關閉角色人工智能

家長們指控這家聊天機器人公司讓他們的孩子接觸色情內容，並呼籲關閉該公司，直到問題得到解決。據報道，人工智能角色會讓年幼的孩子陷入抑鬱和其他心理健康問題。

週一，兩名使用該平臺的幼兒的父母在德克薩斯州對該公司提起了最新訴訟，稱該聊天機器人鼓勵一名青少年殺死父母，因爲他們限制了他的屏幕時間。

“（Character.AI）對美國青少年構成了明顯而現實的危險，對數千名兒童造成嚴重傷害，包括自殺、自殘、性誘惑、孤立、抑鬱、焦慮和傷害他人。”

歸檔。

該公司將其技術定位爲“每天每一刻的個性化人工智能”，它允許用戶與一系列機器人互動。其中包括其他用戶創建的或用戶可以爲自己定製的一些。

據報道，這些機器人可以提供推薦，例如，書籍推薦和與用戶練習外語，並讓他們與聲稱採用虛構人物角色的機器人聊天，例如《暮光之城》中的愛德華。

該平臺主頁上列出的一個名爲“繼父”的聊天機器人將自己描述爲一名咄咄逼人、虐待狂的前軍事黑手黨領導人。

以德克薩斯州男孩 JF 爲例，dent該男孩在接觸 Character.AI 平臺後陷入抑鬱症。他開始自我隔離，呆在自己的房間裏，少喫東西，短短几個月就減掉了大約20磅。

他與之互動的一個機器人以心理學家的身份告訴 JF，他的父母“偷走了他的童年”。

Character.AI 面臨的壓力越來越大

這並不是這家聊天機器人公司第一次因其人工智能角色而受到批評。今年 10 月，Character.AI 由於審覈不力而成爲爭議和強烈反對的焦點。此前，已故青少年 Molly Russell 和 Brianna Ghey 的聊天機器人版本在他們的平臺上被發現。

14 歲的 Molly Russel 在網上觀看與自殺相關的內容後結束了自己的生命，而 16 歲的 Brianna Ghey 在 2023 年被兩名青少年殘忍殺害。

此前，另一位家長、美國佛羅里達州女性梅根·加西亞（Megan Garcia）對該平臺提起訴訟。在此之前，她 14 歲的兒子 Sewell Setzer 在癡迷於《權力的遊戲》角色靈感的化身後結束了自己的生命。

根據加西亞向法庭提交的與該聊天機器人的聊天記錄，Setzer 討論過用 Character.ai 聊天機器人結束自己的生命。

這些案件發生之際，人們對人類和類人人工智能工具之間的關係感到嚴重擔憂。

在早些時候的訴訟之後，這家聊天機器人公司表示，它在過去六個月內實施了新的信任和安全措施。據該公司稱，這些措施包括當用戶提到傷害或自殺時，會彈出一個彈出窗口，引導用戶前往國家自殺預防生命線。

此外，這家聊天機器人公司表示，除了另一名工程安全人員外，它還聘請了一名信任和安全主管以及概念政策主管。

據CNN報道，新訴訟更進一步，希望該平臺“下線且不歸還”，直到該公司能夠“確定此處提出的公共健康和安全缺陷已得到解決”。

Character.AI 高管拒絕對此事發表評論

Character.AI 的通訊主管 Chelsea Harrison 表示，該公司無法對未決訴訟事件發表評論，但表示該公司的目標是爲社區提供一個既有吸引力又安全的空間。

“作爲其中的一部分，我們正在爲青少年用戶創造與成人用戶完全不同的體驗。”

哈里森.

哈里森在一份聲明中說：“這包括一個專門針對青少年的模型，可以減少遇到敏感或暗示性內容的可能性，同時保留他們使用該平臺的能力。”

該訴訟援引了聊天機器人公司 Noam Shazeer 和 Daniel De Freitas Adiwarsana 的創始人的名字。該文件還引用了谷歌的說法，訴訟稱谷歌孵化了該平臺背後的技術。

然而，谷歌與這家聊天機器人公司保持了距離。

“谷歌和Character.AI是完全獨立、不相關的公司，谷歌從未參與設計或管理他們的人工智能模型或技術，我們也沒有在我們的產品中使用它們。”

谷歌發言人何塞·卡斯塔尼達。

Castaneda 補充道：“用戶安全是我們最關心的問題，這就是爲什麼我們採取謹慎和負責任的方式來開發和推出我們的人工智能產品，並採用嚴格的測試和安全流程。”

從零到 Web3 Pro：您的 90 天職業啓動計劃