โมเดลการใช้เหตุผลของ OpenAI มักจะ 'คิด' เป็นภาษาจีน ซึ่งไม่มีใครอธิบายได้ว่าทำไม

ผู้ที่ใช้ OpenAI ได้ dent ช่องโหว่แล้ว ไม่นานหลังจากที่ OpenAI เผยแพร่ o1 โมเดล AI “การให้เหตุผล” เริ่มต้น ก็สังเกตเห็นพฤติกรรมที่แปลกประหลาด เห็นได้ชัดว่าเมื่อมีการถามคำถามเป็นภาษาอังกฤษ โมเดลดังกล่าวจะเริ่ม "คิด" ในภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ เช่น จีนหรือเปอร์เซีย 

ผู้ใช้คนหนึ่งกล่าวว่า "[O1] สุ่มเริ่มคิดภาษาจีนได้ครึ่งทาง" นอกจากนี้ ผู้ใช้ X ยังกล่าวอีกว่า “ทำไม [o1] ถึงสุ่มเริ่มคิดเป็นภาษาจีน?”

ทำไม o1 pro ถึงสุ่มเริ่มคิดเป็นภาษาจีน? ไม่มีส่วนใดของการสนทนา (5 ข้อความ) ที่เป็นภาษาจีน... น่าสนใจมาก... ข้อมูลการฝึกอบรมมีอิทธิพลต่อ pic.twitter.com/yZWCzoaiit

– Rishab Jain (@RishabJainK) วันที่ 9 มกราคม 2025

ตามข้อสังเกต เมื่อนำเสนอปัญหาที่ต้องแก้ไข o1 จะเริ่มกระบวนการ "ความคิด" ซึ่งเกี่ยวข้องกับลำดับขั้นตอนการให้เหตุผลซึ่งนำไปสู่คำตอบ คำตอบสุดท้ายของ o1 จะเป็นภาษาอังกฤษหากแบบสอบถามเขียนในภาษานั้น

ถึงกระนั้น แบบจำลองจะดำเนินการตามขั้นตอนบางอย่างในภาษาอื่นก่อนที่จะกำหนดข้อสรุป

โดยเฉพาะอย่างยิ่ง OpenAI ไม่ได้ให้คำอธิบายเกี่ยวกับพฤติกรรมแปลกๆ ของ o1 และไม่ได้รับรู้ด้วยซ้ำ ดังนั้นอะไรคือสาเหตุของสิ่งนี้?

ต่อไปนี้เป็นทฤษฎีบางส่วนของผู้เชี่ยวชาญด้าน AI

Clément Delangue ซีอีโอของ Hugging Face กล่าว ถึง X ว่าโมเดลการใช้เหตุผลเช่น o1 ได้รับการฝึกฝนเกี่ยวกับชุดข้อมูลที่มีตัวอักษรจีนจำนวนมาก

นอกจากนี้ ตามคำกล่าวของ Ted Xiao นักวิจัยของ Google DeepMind องค์กรต่างๆ เช่น OpenAI ใช้บริการการติดป้ายกำกับข้อมูลภาษาจีนของบุคคลที่สาม และการเปลี่ยนไปใช้ภาษาจีนเป็นตัวอย่างหนึ่งของ "อิทธิพลทางภาษาของจีนในการให้เหตุผล"

Ted Xiao เขียนใน โพสต์ X ว่า “ห้องปฏิบัติการ AGI เช่น OpenAI และ Anthropic ใช้บริการการติดป้ายกำกับข้อมูล 3P สำหรับข้อมูลการให้เหตุผลระดับปริญญาเอกในด้านวิทยาศาสตร์ คณิตศาสตร์ และการเขียนโค้ด เนื่องจากความพร้อมด้านแรงงานที่เชี่ยวชาญและเหตุผลด้านต้นทุน ผู้ให้บริการข้อมูลเหล่านี้จำนวนมากจึงอยู่ในประเทศจีน”

เห็นได้ชัดว่าในระหว่างกระบวนการฝึกอบรม ป้ายกำกับ ซึ่งเรียกอีกอย่างว่าตัว dent ตำแหน่งหรือคำอธิบายประกอบ จะช่วยแบบจำลองในการทำความเข้าใจและตีความข้อมูล

 ตัวอย่างเช่น ป้ายกำกับที่ใช้ในการฝึกโมเดลการจดจำรูปภาพอาจประกอบด้วยคำบรรยายที่อ้างอิงถึงแต่ละบุคคล สถานที่ หรือวัตถุที่ปรากฎในภาพหรือเครื่องหมายที่ล้อมรอบวัตถุ

นอกจากนี้ การวิจัยยังแสดงให้เห็นว่าการจำแนกประเภทที่มีอคติสามารถส่งผลให้เกิดแบบจำลองที่มีอคติได้ ตามตัวอย่าง ผู้อธิบายโดยเฉลี่ยมีแนวโน้มที่จะติดป้ายวลีในภาษาอังกฤษพื้นถิ่นแอฟริกันอเมริกัน ( AAVE ) มากกว่า 

สิ่งนี้เรียกว่าไวยากรณ์แบบไม่เป็นทางการที่คนอเมริกันผิวดำบางคนใช้ว่าเป็นพิษ ด้วยเหตุนี้ เครื่องตรวจจับความเป็นพิษของ AI ที่ได้รับการฝึกอบรมเกี่ยวกับฉลากจึงรับรู้ว่า AAVE มีพิษมากเกินไป

ถึงกระนั้น ผู้เชี่ยวชาญคนอื่นๆ ก็ไม่ยอมรับทฤษฎีการติดฉลากข้อมูลของจีน o1 พวกเขาเน้นย้ำว่า o1 มีแนวโน้มที่จะเปลี่ยนไปใช้ภาษาฮินดี ไทย หรือภาษาอื่นที่ไม่ใช่ภาษาจีนพอๆ กันในขณะที่พยายามหาวิธีแก้ปัญหา

แต่ผู้เชี่ยวชาญเหล่านี้แย้งว่า o1 และแบบจำลองการให้เหตุผลอื่นๆ อาจใช้ภาษาที่มีประสิทธิภาพมากที่สุดในการบรรลุวัตถุประสงค์

ด้วยเหตุนี้ Matthew Guzdial นักวิจัยด้าน AI กล่าวว่า "แบบจำลองไม่ทราบว่าภาษาคืออะไรหรือภาษานั้นแตกต่างกัน" เนื่องจากโทเค็นซึ่งคล้ายกับการติดฉลากมีแนวโน้มที่จะกำหนดอคติได้

โดยเฉพาะอย่างยิ่ง นักแปลจากคำเป็นโทเค็นหลายๆ คนจะถือว่าการเว้นวรรคในประโยคบ่งบอกถึงคำใหม่ โดยไม่คำนึงถึงความจริงที่ว่าไม่ใช่ทุกภาษาจะใช้ช่องว่างเพื่อแยกคำ

อย่างไรก็ตาม Luca Soldaini นักวิทยาศาสตร์การวิจัยจาก Allen Institute for AI ที่ไม่แสวงหาผลกำไรเน้นย้ำว่าเป็นไปไม่ได้ที่จะระบุอย่างแน่ชัด เขากล่าวว่า “การสังเกตประเภทนี้เกี่ยวกับระบบ AI ที่ปรับใช้นั้นเป็นไปไม่ได้ที่จะสำรองข้อมูลเนื่องจากลักษณะที่ไม่ชัดเจนของโมเดลเหล่านี้ […] มันเป็นหนึ่งในหลายกรณีที่เน้นย้ำความสำคัญของความโปร่งใสในการสร้างระบบ AI ”

ปัญหา OpenAI

ปี 2024 ถือเป็นปีแห่งรถไฟเหาะสำหรับ OpenAI บริษัทและซีอีโอ Sam Altman เริ่มต้นปีใหม่ด้วยการถูก Elon Musk ฟ้องร้อง เขาแย้งว่าธุรกิจเปลี่ยนจากวัตถุประสงค์ไม่แสวงหาผลกำไรเริ่มแรกเพื่อเน้นผลกำไรมากกว่าสาธารณประโยชน์

ในปีที่ผ่านมา หนังสือพิมพ์ 8 ฉบับในสหรัฐอเมริกา รวมถึง New York Daily News, Chicago Tribune และ Denver Post ได้ฟ้องร้อง OpenAI และ Microsoft พวกเขากล่าวหาว่าบริษัทใช้สิ่งพิมพ์ที่มีลิขสิทธิ์หลายล้านฉบับในการฝึกอบรมแชทบอท AI โดยไม่ได้รับอนุญาตหรือจ่ายเงิน พวกเขากล่าวหาว่าเทคนิคดังกล่าวละเมิดสิทธิ์ในทรัพย์สินทางปัญญาของพวกเขา

มิรา มูราติ ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ OpenAI ได้ประกาศลาออกจากตำแหน่งแล้ว นี่เป็นช่วงเวลาสำคัญเพราะทักษะทางเทคโนโลยีของเธอมีความสำคัญต่อการพัฒนาของบริษัท

นอกจากนี้ OpenAI ยังประสบปัญหาหลายประการกับ ChatGPT เช่น การหยุดทำงานเป็นครั้งคราว ข้อผิดพลาดที่ส่งผลให้เกิดการตอบสนองที่ไม่ถูกต้องหรือไร้สาระจากแชทบอท และความกังวลเกี่ยวกับความเป็นส่วนตัวของผู้ใช้ นอกจากนี้ยังมีกรณีที่ AI สร้างเนื้อหาที่มีอคติหรือไม่เหมาะสม

ได้งาน Web3 ที่จ่ายสูงใน 90 วัน: สุดยอดโรดแมป