OpenAI 的 719 數學論文來自對其顧問反對意見的測試

10 月 6 日，OpenAI 將來自一個未發佈內部模型的 719 篇數學論文推送至 GitHub。

一週前，其自身的顧問小組曾要求各實驗室停止在專有模型上測試高級數學問題。

超過 600 份調查回覆塑造了 IAS 小組 9 月 29 日的指導方針

數學與人工智能諮詢小組位於新澤西州普林斯頓高等研究院。9月29日，該小組發佈了建議，這些建議基於超過600份調查回覆。

“我們想從一開始就明確聲明：我們不認可這種做法，並要求他們停止在專有模型上測試高級數學問題，”該小組寫道。

同一份文件警告稱，私有內部模型可能導致一種兩級體系，使某些實驗室跑在領域其他參與者前面。

OpenAI 在其存儲庫中表示，作爲模型開發的一部分，該公司會在開放研究問題上測試其模型。在其現有數學基準飽和後，它擴展了這些測試。

OpenAI 表示其與小組進行了協商，並借鑑了其關於發佈的建議。該小組在 10 月 6 日發佈的聲明中表示，其顧問角色並非“對 OpenAI 獲取這些論文的過程的認可”。

該小組將合規性的裁決權委託給更廣泛的數學界。

Navier-Stokes Lean 代碼所證明的結論弱於論文中的表述

OpenAI 將 719 篇論文歸類爲 372 個數學家族，每個家族圍繞一個主要結果及其相關證明構建。該公司向專有模型提供了約 4,000 個問題，平均每個結果需要 ChatGPT Pro 約三小時的推理計算時間。

該團隊要求 AI 實驗室公佈每個結果所使用的模型名稱、提示詞、簡化的思維鏈、耗時以及計算成本。

OpenAI 發佈了 10 份推理摘要，其中約 42% 的主要結果附帶了 Lean 形式化驗證。

Lean 是一種可用於由計算機檢查證明過程的編程語言。如果代碼編譯成功，並不意味着代碼與書面論證完全一致；它僅表明形式化陳述是正確的。

亞歷山大·巴斯圖尼斯、法比安·奇爾切利和安德斯·C·漢森在10月6日發佈的一篇論文中考察了這一差距。他們發現，OpenAI的書面納維-斯托克斯論文所做出的主張，比其Lean代碼所證明的要強，且其中一個估計改變了輸入導數的階數。

作者們在 OpenAI 的歐拉（Euler）證明中也發現了類似的誤譯現象。他們在文中寫道：“OpenAI 的書面證明及其他自動形式化的 Lean 證明，不應像其他證明那樣，在未經同等同行評審和嚴格審查的情況下被輕易信任。”

納維-斯托克斯結果由OpenAI於9月8日宣佈。據Cryptopolitan報道，紐約大學數學家特里斯坦·巴克馬斯特隨後質疑了該工作所涉及的最小人類投入的描述。

該公司承諾爲重大 AI 成果相關的研討會、會議和特別項目提供資金支持。

10月6日，陶哲軒寫道，AI提示詞工程師往往在解決問題後就對該領域失去興趣。他寫道，許多人無法回答關於該成果的問題或就此發表演講。他的帖子並未點名OpenAI。

該公司表示，其顧問對其研究進度沒有發言權，Cryptopolitan於9月對此進行了報道。

不要只是閱讀加密貨幣新聞，要真正理解它。訂閱我們的通訊。 免費。