Character.AI ถูกฟ้องร้องฐานทำให้เด็กมีปัญหาสุขภาพจิต

ผู้ปกครองกดดันให้ปิด Character AI

ผู้ปกครองกล่าวหาว่าบริษัทแชทบอทกำลังทำให้บุตรหลานของตนได้รับเนื้อหาเกี่ยวกับเรื่องเพศ และเรียกร้องให้ปิดบริษัทดังกล่าวจนกว่าข้อกังวลดังกล่าวจะได้รับการแก้ไข มีรายงานว่าตัวละคร AI ผลักดันให้เด็กเล็กเข้าสู่ภาวะซึมเศร้าและปัญหาสุขภาพจิตอื่น ๆ

คดีล่าสุดที่ฟ้องบริษัทในรัฐเท็กซัสเมื่อวันจันทร์โดยผู้ปกครองของเด็กเล็กสองคนที่ใช้แพลตฟอร์มดังกล่าว อ้างว่าแชทบอทสนับสนุนให้วัยรุ่นคนหนึ่งฆ่าพ่อแม่ของเขาเพื่อจำกัดเวลาหน้าจอของเขา

“(Character.AI) ก่อให้เกิดอันตรายที่ชัดเจนและในปัจจุบันต่อเยาวชนอเมริกัน ซึ่งก่อให้เกิดอันตรายร้ายแรงต่อเด็กหลายพันคน รวมถึงการฆ่าตัวตาย การทำร้ายตัวเอง การชักชวนทางเพศ การโดดเดี่ยว ความซึมเศร้า ความวิตกกังวล และการทำร้ายผู้อื่น”

การยื่น.

บริษัท ทำการตลาดเทคโนโลยี เป็น “AI ส่วนบุคคลสำหรับทุกช่วงเวลาของวันของคุณ” และช่วยให้ผู้ใช้มีส่วนร่วมกับบอทมากมาย ซึ่งรวมถึงบางส่วนที่ผู้ใช้รายอื่นสร้างขึ้นหรือผู้ใช้สามารถปรับแต่งเองได้

มีรายงานว่าบอทสามารถให้คำแนะนำ เช่น หนังสือแนะนำ และฝึกภาษาต่างประเทศกับผู้ใช้ และปล่อยให้พวกเขาสนทนากับบอทที่อ้างว่าใช้บุคลิกของตัวละครในนิยาย เช่น Edward จาก Twilight

หนึ่งในแชทบอทที่อยู่ในหน้าแรกของแพลตฟอร์มที่เรียกว่า “พ่อเลี้ยง” อธิบายตัวเองว่าเป็นผู้นำมาเฟียที่ก้าวร้าว ล่วงละเมิด และเป็นอดีตทหาร”

ในกรณีของเด็กชายชาวเท็กซัส ซึ่งฉัน dent ว่าเป็น JF เด็กชายถูกกล่าวหาว่ามีอาการซึมเศร้าหลังจากได้สัมผัสกับแพลตฟอร์ม Character.AI เขาเริ่มแยกตัวเอง อยู่ในห้อง กินข้าวน้อยลง และลดน้ำหนักได้ประมาณ 20 ปอนด์ในเวลาเพียงไม่กี่เดือน

บอทตัวหนึ่งที่เขาโต้ตอบด้วยซึ่งใช้บุคลิกของนักจิตวิทยาบอกกับ JF ว่าพ่อแม่ของเขา “ขโมยวัยเด็กของเขาไปจากเขา”

ความกดดันเพิ่มขึ้นต่อ Character.AI

นี่ไม่ใช่ครั้งแรกที่บริษัทแชทบอทถูกวิจารณ์เรื่องตัวละคร AI ในเดือนตุลาคมของปีนี้ Character.AI เป็นศูนย์กลางของความขัดแย้งและการตอบโต้ที่รุนแรงเนื่องจากการกลั่นกรองที่ไม่ดี สิ่งนี้เกิดขึ้นหลังจากพบวัยรุ่นที่เสียชีวิตในเวอร์ชันแชทบอท มอลลี่ รัสเซลล์ และบริอันนา เกย์ บนแพลตฟอร์มของพวกเขา

มอลลี รัสเซลเป็นเด็กอายุ 14 ปีที่จบชีวิตของตัวเองหลังจากดูเนื้อหาเกี่ยวกับการฆ่าตัวตายทางออนไลน์ ในขณะที่บริอันนา เกย์อายุ 16 ปีที่ถูกวัยรุ่นสองคนสังหารอย่างโหดเหี้ยมในปี 2566

ก่อนหน้านี้ Megan Garcia ผู้ปกครองอีกคนหนึ่งซึ่งเป็นผู้หญิงในฟลอริดาในสหรัฐอเมริกาได้ฟ้องร้องแพลตฟอร์มดังกล่าว เรื่องนี้เกิดขึ้นหลังจากที่ซีเวลล์ เซตเซอร์ ลูกชายวัย 14 ปี ของเธอ ฆ่าตัวตาย หลังจากหมกมุ่นอยู่กับอวตารที่ได้รับแรงบันดาลใจจากตัวละครจาก Game of Thrones

Setzer พูดคุยเรื่องการจบชีวิตของเขาด้วย Chatbot ของ Character.ai ตามบันทึกการสนทนาของเขากับ Chatbot ที่ Garcia ยื่นฟ้องในชั้นศาล

กรณีเหล่านี้เกิดขึ้นท่ามกลางความกังวลร้ายแรงเกี่ยวกับความสัมพันธ์ระหว่างมนุษย์กับเครื่องมือ AI ที่มีลักษณะคล้ายมนุษย์

หลังจากการฟ้องร้องก่อนหน้านี้ บริษัทแชทบอตกล่าวว่าได้ใช้มาตรการความไว้วางใจและความปลอดภัยใหม่ในช่วงหกเดือนที่ผ่านมา ตามที่บริษัทระบุ มาตรการเหล่านี้รวมถึงป๊อปอัปที่นำผู้ใช้ไปยัง National Suicide Prevention Lifeline เมื่อพวกเขาพูดถึงอันตรายหรือการฆ่าตัวตาย

นอกจากนี้ บริษัทแชทบอทระบุว่าได้ว่าจ้างหัวหน้าฝ่ายความไว้วางใจและความปลอดภัย เช่นเดียวกับหัวหน้านโยบายแนวคิด นอกเหนือจากเจ้าหน้าที่ความปลอดภัยด้านวิศวกรรมอีกคนหนึ่ง

ตามรายงานของ CNN คดีใหม่กำลังดำเนินต่อไป โดยต้องการให้แพลตฟอร์ม “ถูกใช้งานแบบออฟไลน์และไม่มีการส่งคืน” จนกว่าบริษัทจะสามารถ “ยืนยันว่าข้อบกพร่องด้านสาธารณสุขและความปลอดภัยที่กำหนดไว้ในที่นี้ได้รับการแก้ไขแล้ว”

Character.AI exec ปฏิเสธที่จะแสดงความคิดเห็นในเรื่องนี้

หัวหน้าฝ่ายสื่อสารของ Character.AI Chelsea Harrison กล่าวว่าบริษัทไม่สามารถแสดงความคิดเห็นเกี่ยวกับเรื่องที่อยู่ระหว่างการดำเนินคดี แต่ระบุว่าเป้าหมายของบริษัทคือการจัดหาพื้นที่ที่มีส่วนร่วมและปลอดภัยสำหรับชุมชน

“ส่วนหนึ่งของสิ่งนี้ เรากำลังสร้างประสบการณ์พื้นฐานที่แตกต่างสำหรับผู้ใช้ที่เป็นวัยรุ่นจากประสบการณ์ที่ผู้ใหญ่มีให้”

แฮร์ริสัน.

“ซึ่งรวมถึงโมเดลสำหรับวัยรุ่นโดยเฉพาะที่ช่วยลดโอกาสที่จะพบกับเนื้อหาที่ละเอียดอ่อนหรือมีการชี้นำทางเพศ ขณะเดียวกันก็รักษาความสามารถในการใช้แพลตฟอร์ม” แฮร์ริสันกล่าวในแถลงการณ์

คดีดังกล่าวอ้างถึงผู้ก่อตั้งบริษัทแชทบอท Noam Shazeer และ Daniel De Freitas Adiwarsana เอกสารดังกล่าวยังอ้างถึง Google ซึ่งคดีดังกล่าวระบุว่าเป็นการบ่มเพาะเทคโนโลยีที่อยู่เบื้องหลังแพลตฟอร์ม

อย่างไรก็ตาม Google ทำตัวเหินห่างจากบริษัทแชทบอท

“Google และ Character.AI เป็นบริษัทที่แยกจากกันโดยสิ้นเชิงและไม่เกี่ยวข้องกัน และ Google ไม่เคยมีบทบาทในการออกแบบหรือจัดการโมเดลหรือเทคโนโลยี AI ของพวกเขา และเราไม่ได้ใช้สิ่งเหล่านี้ในผลิตภัณฑ์ของเรา”

โฮเซ คาสตาเนดา โฆษกของกูเกิล

“ความปลอดภัยของผู้ใช้ถือเป็นข้อกังวลสูงสุดสำหรับเรา ซึ่งเป็นเหตุผลว่าทำไมเราจึงใช้แนวทางที่ระมัดระวังและมีความรับผิดชอบในการพัฒนาและเปิดตัวผลิตภัณฑ์ AI ของเรา ด้วยการทดสอบที่เข้มงวดและกระบวนการด้านความปลอดภัย” Castaneda กล่าวเสริม

จากศูนย์ถึง Web3 Pro: แผนเปิดตัวอาชีพ 90 วันของคุณ