นักวิจัยของ Stanford และ UW สร้างคู่แข่ง Open-Source Open-Source Oper

นักวิจัย AI ที่สแตนฟอร์ดและมหาวิทยาลัยวอชิงตันถูกกล่าวหาว่าดึงสิ่งที่ไม่มีใครคิดว่าเป็นไปได้ - พวกเขาสร้างแบบจำลอง AI ที่เรียกว่า S1 ในราคาต่ำกว่า $ 50 ในเครดิตคลาวด์คอมพิวติ้งตามรายงานการวิจัยที่เผยแพร่เมื่อวันจันทร์

มีรายงานว่า โมเดล S1 ให้ประสิทธิภาพในระดับที่เทียบเท่ากับรูปแบบการใช้เหตุผลระดับบนรวมถึง OpenAI ของ O1 และ R1 ของ OpenAI และตามมาตรฐานการทดสอบคณิตศาสตร์และการเข้ารหัส ยิ่งไปกว่านั้นโครงการทั้งหมดมีอยู่ใน GitHub - รหัสข้อมูลและทั้งหมด

ทีมเริ่มต้นด้วยการคว้าโมเดลนอกชั้นวางแทนที่จะสร้างสิ่งใหม่ จากนั้นพวกเขาปรับแต่งผ่านกระบวนการที่เรียกว่าการกลั่น จากการวิจัยของพวกเขาพวกเขากลั่นพลังการใช้เหตุผลจากรูปแบบการทดลองการคิดแฟลช Gemini 2.0 ของ Google

พวกเขาฝึกฝน S1 เพื่อเลียนแบบเทคนิคการแก้ปัญหาของราศีเมถุนโดยการเรียนรู้จากคำตอบ “ เรามุ่งเป้าไปที่ความเรียบง่าย” Niklas Muennighoff หนึ่งในนักวิจัยของ Stanford ที่เกี่ยวข้องกล่าว

ชุดข้อมูลขนาดเล็กผลลัพธ์ใหญ่

การกลั่นกำลังกลายเป็นอาวุธที่เลือกอย่างรวดเร็วสำหรับทีม AI ที่ต้องการลดค่าใช้จ่าย รูปแบบ AI ที่คล้ายกันพัฒนาเมื่อเดือนที่แล้วโดยนักวิจัยของ Berkeley มีค่าใช้จ่าย $ 450 เพื่อฝึกอบรม - ยังราคาถูกตามมาตรฐานอุตสาหกรรม แต่สแตนฟอร์ดและ UW ก้าวไปอีกขั้นหนึ่งลดค่าใช้จ่ายเป็นประมาณ $ 50 โดยการกลั่นโมเดลของพวกเขาด้วยชุดข้อมูลขนาดเล็กและเทคนิคที่คล่องตัว

นักวิจัยคัดเลือกเพียง 1,000 คำถามแต่ละคู่จับคู่กับคำตอบโดยละเอียดและการใช้เหตุผลทีละขั้นตอนจาก Gemini 2.0 ของ Google ชุดข้อมูลนี้ให้ความรู้ทั้งหมด S1 ที่จำเป็นในการดำเนินการในระดับสูง ตามรายงานของทีมโมเดลได้เรียนรู้วิธีคิดผ่านปัญหา

การปรับแต่งการปรับแต่งหรือ SFT เป็นกุญแจสำคัญในการทำงานนี้ แทนที่จะใช้การเรียนรู้การเสริมแรงซึ่งต้องใช้ชุดข้อมูลขนาดใหญ่และพลังการคำนวณจำนวนมากนักวิจัยเลือกใช้ SFT ซึ่งเป็นวิธีที่ AI ได้รับการฝึกฝนโดยตรงเพื่อเลียนแบบพฤติกรรมที่พบในชุดข้อมูล มันถูกกว่าและเร็วกว่าและในกรณีนี้มันใช้งานได้

โมเดลพื้นฐานมาจาก Qwen ห้องปฏิบัติการ AI เป็นเจ้าของโดยอาลีบาบา รุ่นนอกชั้นวางของพวกเขาดาวน์โหลดได้ฟรีทำให้โครงการเป็นมิตรกับงบประมาณมากขึ้น ในเวลาน้อยกว่า 30 นาทีและใช้เพียง 16 Nvidia H100 GPU ทีมฝึกซ้อม S1 “ เราสามารถเช่าการคำนวณที่จำเป็นได้ประมาณ $ 20 ในวันนี้” Muennighoff กล่าว

คำสั่ง“ รอ” เพิ่มความแม่นยำของ S1

มีรายงานว่านักวิจัยรวมถึงเคล็ดลับที่ชาญฉลาดในการปรับปรุงการใช้เหตุผลของ S1: พวกเขาเพิ่มคำว่า "รอ" ในระหว่างการแก้ปัญหา ด้วยการบอกแบบจำลองให้หยุดชั่วคราวและตรวจสอบงานของมันอีกครั้งพวกเขาเพิ่มความแม่นยำ รายงานการวิจัยรายละเอียดว่าการปรับแต่งนี้ให้เวลา S1 เพียงพอในการพิจารณาคำตอบที่ดีกว่าก่อนที่จะส่ง

Openai กำลังเฝ้าดูอย่างใกล้ชิด พวกเขาได้กล่าวหาว่า Deepseek มีการเก็บเกี่ยวข้อมูลที่ไม่เหมาะสมจาก API เพื่อสร้างคู่แข่ง AI ด้วย S1 แสดงให้เห็นว่าการจำลองแบบราคาถูกสามารถเป็นอย่างไรผู้เล่นรายใหญ่อย่าง Openai จะไม่ตื่นเต้น การเปลี่ยนรูปแบบของโมเดล AI อาจทำให้บรรทัดล่างสุด

แต่ บริษัท เทคโนโลยีมีปัญหาอื่น ๆ เมื่อวันอังคารที่ผ่านมาทีมกฎหมายของ Elon Musk เผชิญหน้ากับ Openai ในห้องพิจารณาคดีของรัฐบาลกลาง Oakland Elon ซึ่งเป็นนักลงทุนรายแรกใน Openai อ้างว่า บริษัท ละทิ้งภารกิจที่ไม่แสวงหากำไรและทรยศเป้าหมายดั้งเดิม

เขาฟ้องร้องเพื่อปิดกั้นการเปลี่ยนแปลงของพวกเขาเป็นธุรกิจที่แสวงหาผลกำไรอย่างเต็มที่ Marc Toberoff ทนายความของ Elon กล่าวกับศาลเมื่อวันศุกร์ว่า Elon ลงทุน 45 ล้านดอลลาร์ใน OpenAI ระหว่างการก่อตั้งและปี 2018 เพราะเขาเชื่อว่ามันจะจัดลำดับความสำคัญของผลประโยชน์สาธารณะมากกว่าผลกำไรเหมือนที่กล่าวไว้ในตอนแรก

ผู้พิพากษาอีวอนน์กอนซาเลซโรเจอร์สเรียกมันว่า“ ยืด” และถามว่าทำไมอีลอนถึงลงทุนเงินจำนวนมากโดยไม่ต้องเขียนเป็นtracอักษร “ นั่นเป็นเพียงเงินจำนวนมากในการจับมือกัน” เธอล้อเลียน ทนายความ Toberoff อธิบายว่า Sam และ Sam ของ Elon และ Openai มีความสัมพันธ์ใกล้ชิดในเวลานั้นและทุกอย่างถูกสร้างขึ้นด้วยความไว้วางใจ

แต่กรณียังไม่ตาย ผู้พิพากษามีความกังวลเกี่ยวกับความสัมพันธ์ที่ใกล้ชิดของ Openai กับ Microsoft ผู้เล่นหลักสองคนคือ Linkedin ผู้ร่วมก่อตั้ง Reid Hoffman และผู้บริหารของ Microsoft Deanna Templeton ซึ่งเกี่ยวข้องกับบอร์ดของ Openai Templeton ถูกเพิ่มเข้ามาในฐานะสมาชิกที่ไม่ได้ลงคะแนนหลังจากการขับไล่สั้น ๆ ของ Altman ในปี 2023 แต่ภายหลังถูกลบออกท่ามกลางความกังวลเรื่องการต่อต้านการผูกขาด

Elon ต้องการหยุดแผนการของพวกเขาและอาจควบคุม บริษัท ได้มากขึ้นผ่านการร่วมทุน AI ของเขา Xai ซึ่งเขาเสริมว่าเป็นโจทก์ในกรณีนี้ Openai แย้งว่าคำขอของ Elon จะทำให้ธุรกิจของมันripple และขึ้นอยู่กับการเรียกร้อง“ ไกลออกไป”

Cryptopolitan Academy: Free Web3 Resume Cheat Sheet - ดาวน์โหลดตอนนี้