OpenAI 的推理模型經常用中文“思考”——沒人能解釋爲什麼

使用 OpenAI 的個人已dent一個漏洞。 OpenAI 發佈其最初的“推理”人工智能模型 o1 後不久，就觀察到了一種奇怪的行爲。顯然，當用英語提出詢問時，模型有時會開始用英語以外的語言“思考”，例如中文或波斯語。 

有網友表示， “[O1]中途突然開始用中文思考。”此外， X上也表示， “爲什麼[o1]隨機開始用中文思考？”

爲什麼o1 pro突然開始用中文思考？對話的任何部分（5 條以上消息）都不是中文的……非常有趣……訓練數據的影響pic.twitter.com/yZWCzoaiit

- Rishab Jain (@RishabJainK) 2025 年 1 月 9 日

根據觀察，當遇到需要解決的問題時，o1 會開始其“思考”過程，其中涉及一系列得出答案的推理步驟。如果查詢是用英語編寫的，o1 的最終響應將是英語。

儘管如此，該模型在得出結論之前仍會用不同的語言執行某些程序。

值得注意的是，OpenAI 沒有對 o1 的特殊行爲做出解釋，甚至也沒有承認。那麼，造成這種情況的原因可能是什麼？

以下是一些人工智能專業人士的理論。

Hugging Face CEO Clément Delangue在 X 上提到 ，像 o1 這樣的推理模型是在含有大量中文字母的數據集上訓練的。

此外，谷歌 DeepMind 研究員特德·肖表示，OpenAI 等組織使用第三方中文數據標籤服務，向中文的過渡是“中文語言對推理的影響”的一個例子。

X 帖子中寫道， “像 OpenAI 和 Anthropic 這樣的 AGI 實驗室利用 3P 數據標記服務來獲取科學、數學和編碼的博士級推理數據；出於專家勞動力可用性和成本原因，許多數據提供商都位於中國。”

顯然，在訓練過程中，標籤（也稱爲dent或註釋）幫助模型理解和解釋數據。

 例如，用於訓練圖像識別模型的標籤可能由指代圖像中描繪的每個人、地點或對象的標題或對象周圍的標記組成。

此外，研究表明，有偏差的分類可能會導致模型有偏差。舉個例子，一般註釋者更傾向於用非裔美國人白話英語 ( AAVE ) 來標記短語。 

這被某些美國黑人視爲有毒的非正式語法。因此，經過標籤訓練的人工智能毒性檢測器認爲AAVE毒性過高。

儘管如此，o1中文數據標註理論並未得到其他專家的認可。他們強調，o1 在嘗試制定解決方案時同樣有可能過渡到印地語、泰語或中文以外的語言。

相反，這些專家認爲 o1 和其他推理模型可能正在使用最有效的語言來實現目標。

爲此，人工智能研究員 Matthew Guzdial 表示， “該模型不知道語言是什麼，也不知道語言之間存在差異。”這是因爲令牌與標籤類似，有可能產生偏見。

特別是，各種單詞到標記的翻譯器假定句子中的空格表示新單詞。這與並非所有語言都使用空格來分隔單詞這一事實無關。

然而，非營利性艾倫人工智能研究所的研究科學家盧卡·索爾代尼（Luca Soldaini）強調，不可能確定。他表示， “由於這些模型的不透明性質，對已部署的人工智能系統的這種觀察是不可能得到支持的……這是強調人工智能系統構建中透明度的重要性的衆多實例之一。 ”。

OpenAI 的麻煩

對於 OpenAI 來說，2024 年簡直就是過山車。該公司及其首席執行官薩姆·奧爾特曼(Sam Altman)今年年初就被埃隆·馬斯克(Elon Musk)起訴。他認爲，該企業從最初的非營利目標轉向強調利潤而非公共利益。

去年，《紐約每日新聞》、《芝加哥論壇報》、《丹佛郵報》等美國八家報紙起訴了 OpenAI 和微軟。他們指責該公司在未經許可或付費的情況下使用數百萬份受版權保護的出版物來訓練人工智能聊天機器人。他們聲稱該技術侵犯了他們的知識產權。

此外，OpenAI 首席技術官 Mira Murati 宣佈離職。這是一個關鍵時刻，因爲她的技術能力對公司的發展至關重要。

此外，OpenAI 在使用 ChatGPT 時遇到了一些困難，例如偶爾中斷、導致聊天機器人響應不準確或無意義的故障，以及對用戶隱私的擔憂。在某些情況下，人工智能會生成有偏見或令人反感的內容。

搜索...