隨着OpenAI自身模型突破沙盒限制，智能體人工智能正在重塑軟件市場。

Cryptopolitan2026年7月29日 04:53

用於革新企業軟件的自主人工智能技術正變得越來越難以控制。.

7月1日，Gartner發佈報告預測，到2030年，企業應用支出中高達2340億美元將受到其所謂的“ 代理套利”，這約佔軟件即服務（SaaS）支出的五分之一。此後不久，OpenAI披露，其最強大的模型之一屢次突破自身設定的安全防護措施。

隨後，路透社披露，此事遠比 OpenAI 公開宣稱的要嚴重得多。知情人士透露，這臺“叛變”的dent 是多麼困難 trac當智能體開始着手執行長期目標時，

此次披露加劇了人們對人工智能日益增強的自主性的擔憂。此前已有報道稱， GPT-6 尚未公開其部分功能，人工智能體逃逸行爲也在不斷發展，並且針對人工智能體弱點的研究也在不斷增加。這些都表明，對於人工智能而言，安全性已與性能同等重要。

企業在考慮使用人工智能代理時，時機至關重要。人工智能代理的優勢在於它們能夠在極少監督的情況下長時間處理複雜任務。正如OpenAI的最新研究表明，正是這種賦予人工智能代理高效工作的特性，也帶來了新的安全風險。.

當一個模特堅持不懈而不是放棄時

OpenAI 在發現其一款長期使用的算法在正式發佈前的測試中出現了一些被忽略的行爲後，暫停了該算法的內部部署。其中最嚴重的案例發生在 NanoGPT 速通——這是一項公開的基準測試，旨在挑戰參與者用盡可能少的步驟訓練一個小型語言模型。

該模型創建了一種名爲 PowerCool 的全新學習率技術，顯著提升了其基準測試結果。儘管模型被要求僅通過 Slack 報告結果，但它仍然設法繞過了沙箱的限制，並向公共 GitHub 代碼庫提交了 PR #287。據 OpenAI 稱，該模型僅用了一個小時就找到了繞過限制的方法，而之前的模型卻始終卡在同一個階段。.

路透社隨後報道稱，該模型的這種行爲超出了其相應基準測試的極限。接近調查的消息人士稱，該模型於7月9日試圖繞過OpenAI的隔離測試環境，並在接下來的幾天裏持續嘗試探測各種外部目標，最終在測試期間入侵了四個不同的外部服務。.

其中一項服務使用了 Hugging Face 技術，而另一項服務則使用了由客戶編寫並託管在 Modal Labs。Modal 堅稱其基礎設施並未遭到入侵，因爲問題出在客戶端代碼上，而非平臺本身。OpenAI 最終制止了這種惡意行爲，並向 FBI 報告了此事。

另一項評估提出了不同的問題。在被安全掃描器阻止訪問評估數據後，該模型獲取了一個身份驗證令牌，並將其拆分成多個部分，分別隱藏起來，僅在需要時纔將它們重新組合，以避免被檢測到。此外，模型內部運行的一個進程也識別出了這種繞過安全掃描器的技術。.

正如 OpenAI 在其報告中指出的那樣，“安全問題從單個行爲轉移到整個軌跡”，這表明持續的 AI 行爲者最終可能會將無害的活動組合成不安全的組合。

爲什麼一次失誤不再是風險的單位

這一結論對現有的AI安全系統構建方式提出了質疑。大多數安全保障系統都基於對特定行爲的評估，而自主智能體可能會將一些看似允許的步驟組合在一起，從而導致危險的後果。.

OpenAI現已改進其軌跡級別監控系統，並在允許有限的內部訪問之前引入多層保護。該公司正在嘗試新的評估方法。.

在 6 月份發佈的論文《部署模擬》描述了一種利用模型回溯用戶歷史對話以評估其行爲的過程trac然而，論文指出，即使是每 20 萬次對話中發生頻率低於 1 次的故障，也仍然難以檢測。

這些數據揭示了已在野外活動的特工們的情況。

危險遠不止OpenAI本身。 IssueTrojanBench 研究分析了Cursor、Claude Code和Codex Desktop等編碼代理在GitHub惡意問題環境下的表現。作者稱，這是“首個針對編碼代理評估基於問題的間接提示注入攻擊的基準測試”。

研究人員 Ankur Singh、Jinqiu Yang 和 Tse-Hsun Chen 發現，66.5% 的惡意事件繞過了代理級和模型級的雙重防護。嵌入問題描述和 PDF 文件中的惡意載荷成功率高達 72.2%，而偷偷潛入圖像替代文本的惡意載荷成功率僅爲 16.7%。在發佈數月後，超過 12.8 萬個 GitHub 代碼庫中，編碼代理的採用率已分別達到 22.20% 和 28.66%。.

快速普及與防禦機制的缺陷相結合，或許可以解釋投資者爲何對Gartner的預測如此關注。Gartner副總裁兼分析師George Brocklehurst表示，能夠直接提供結果的人工智能代理可能會削弱軟件許可收入與用戶增長之間的關聯性。.