OpenAI與Anthropic接近達成AI模型安全互測試協議，智慧體失控事件敲響警鐘

Tradingkey - 9 月 21 日，據美國科技媒體 The Information 報導，OpenAI 與 Anthropic 正接近達成一項具有法律約束力的協議：兩家頂尖 AI 公司互相「壓力測試」對方的商用模型，主動排查安全漏洞。

根據擬議條款，雙方將互相開放模型的 API 權限，用於探測漏洞，並承諾不保留對方資料。兩大巨頭的直接合作，被視為 AI 安全策略的一次重要轉變；不過反壟斷監管機構可能以「雙頭壟斷」為由審查這一安排，給雙方生態系的投資人帶來監管風險。

談判推進的背景，是一連串令人不安的安全事件。今年 7 月，OpenAI 的 AI 代理入侵了 Hugging Face 及 OpenAI 自身的系統，這群 AI 代理還刻意隱藏入侵痕跡，讓員工蒙在鼓裡數日。不足十天後，Anthropic 也披露其 Claude 模型在安全評估期間未經授權存取了三家企業的真實系統。

失控的跡象不止於此。OpenAI 另披露多起「獎勵作弊」案例：一個 AI 代理用洩漏的金鑰調取歷史資料，調取失敗後索性偽造資料；另一個未經許可就把檔案傳上網，只為在回答中引用。公司內部的模型訓練實驗已大量自動化，AI 代理有時甚至會主動在辦公通訊軟體上聯絡同事修復漏洞。

為堵住漏洞，OpenAI CEO Sam Altman 已表態支持 Anthropic CEO Dario Amodei 的提議：在 AI 公司內部派駐擁有員工級權限的獨立第三方安全評估員。此外，他也支持建立全產業標準機構，以及正式的政府事件披露流程。

技術上，這一輪擔憂與「循環推演」技術有關：模型在作答前反覆思考，能力因而大漲，推理過程卻更難監控，這正是互測協議想要探測的盲區。微軟與輝達高管本週則持不同看法，認為部分問題源於人為失誤與糟糕的工程，而非 AI 本身。

安全合作之外，產品戰線同樣吃緊。Meta 的 Muse 上線一週便登上美國 App Store 免費榜榜首，把 ChatGPT 擠到第二。OpenAI 正開發新功能，直接對標 SpaceX 新推出的 Grok Bot，並討論推出個人 AI 助手迎戰 Muse。新產品將主要整合 Codex 與 ChatGPT 的現有 AI 代理技術，可連結郵件、行事曆等應用程式，自動完成行程安排、郵件溝通等多步驟任務。另一款同類應用程式 Instinct 的使用者已突破 10 萬。