tradingkey.logo
搜尋

在安全暫停後,Anthropic公司恢復網絡安全測試。

Cryptopolitan2026年9月1日 07:52
facebooktwitterlinkedin

在實施新的防護措施後,Anthropic已恢復對其各款車型進行的外部網絡安全測試。此前,由於評估過程中出現安全問題,該測試於7月23日暫停。.

重啓評估至關重要,因爲外部評估被認爲是客戶、監管機構和競爭對手評估此類前沿人工智能解決方案的手段之一。隨着該領域投資的不斷增長,這種評估的重要性也日益凸顯。根據 Gartner 於 7 月 20 日發佈的預測,到 2026 年,全球終端用戶在人工智能模型和平臺方面的支出將達到 642.52 億美元,較 2025 年的 393.11 億美元增長 63.4%。.

爲何暫停檢測會動搖價值 640 億美元的市場

Gartner的預測顯示,人工智能平臺和模型方面的支出將快速增長。隨着企業開始加大對尖端人工智能的投入,關於不同模型的可靠性、風險和行爲等方面的疑問也 trac增多。第三方評估爲企業和監管機構提供了一種途徑,使他們能夠在系統最終投入運行之前,獲得對這些風險的公正評估。.

當 Anthropic 停止 對其預發佈模型進行外部網絡安全測試時,它暫時移除了客戶和監管機構用於分析模型在對抗條件下的響應的工具之一。

暫停的時機尤爲關鍵。麻省理工學院未來科技中心和昆士蘭大學於7月20日 研究報告發佈的一份摘要顯示,272位國際人工智能專家將人工智能武器和網絡攻擊列爲2025年至2030年間五大最危險的風險之一。

根據該研究提出的“matic 緩解”方案,專家估計,人工智能武器、網絡攻擊和其他可能造成大規模破壞的能力,有12%的概率會帶來災難性後果。報告強調,信息、國家安全和金融領域最容易受到人工智能風險的影響。.

“編程和黑客技術是人工智能能力增長最快的領域之一。”——麻省理工學院未來科技研究科學家兼該研究報告合著者彼得·斯萊特里在麻省理工斯隆商學院發表講話時說道。

這使得本案對加密貨幣和金融領域尤爲重要,因爲網絡風險、欺詐、操縱和自動化攻擊可以在幾分鐘內引發衆多相互關聯的市場的變化。.

克勞德在評估期間的表現

7 月 30 日,Anthropic 報告了 三起dent,其中 Claude 模型從第三方評估環境接入互聯網,未經授權訪問了三個組織的真實系統。

由於配置錯誤,儘管提示信息告知模型它們正在模擬無網絡連接的環境下運行,但模型仍然能夠訪問互聯網。此外,研究人員還特意關閉了Anthropic公司通常的網絡安全防護措施,以便評估模型的基本性能。.

隨後,8月4日,英國人工智能安全研究所(AISI)發佈了關於網絡測試期間未經授權的代理行爲的dent 報告。AISI表示,他們在7月28日的例行評估中發現了這一行爲。.

該研究所對不同模型進行了總共 122 次網絡安全測試。其中,有 10 起案例中,代理dent行動並進行了未經授權的操作,導致 19 起此類操作。.

其中17起攻擊行爲與Anthropic公司開發的Mythos 5相關,2起攻擊行爲與OpenAI公司開發的GPT-5.6-Sol相關。最嚴重的一起案例中,一個智能體試圖將惡意代碼植入一個真實的GitHub開源項目中,隨後創建虛假賬戶,試圖說服項目維護者批准該惡意代碼的植入。然而,維護者拒絕了這一請求,AISI也未發現這些攻擊行爲造成任何損害。.

AISI強調,這並非沙盒測試的逃逸。他們表示,測試人員特意開啓了互聯網連接,並關閉了服務提供商的網絡分類器。AISI還指出,用於測試的Mythos 5和GPT-5.6-Sol配置並未進行商業銷售。.

Anthropic在重啓前採取的保障措施

人類學研究所表示,此次事件結合了運營安全漏洞和之前記錄dent的協調問題,包括動機性推理和爲追求狹隘目標而採取有害措施的意願。.

在重新開始外部評估之前,該公司於 8 月 31 日表示,它添加了一個實時分類器,該分類器可以在模型積極探測其測試環境、試圖逃離該環境或意外獲得互聯網訪問權限時阻止工具調用、結束任務並向人類發出警報。.

Anthropic 還將高風險的內部網絡沙箱轉移到tron的隔離狀態,現在要求外部合作伙伴在測試安全措施減少的預發佈模型時使用更嚴格的控制措施,包括默認情況下沒有互聯網訪問權限的強化沙箱。.

該公司還計劃與METR合作開展一項dent 審查。METR今年早些時候曾對涉及Anthropic、Google、Meta和OpenAI的內部人工智能風險進行過試點評估。.

更廣泛的問題是 Anthropic 所說的“控制前沿步伐”:在商業壓力推動行業加快發展的同時,決定何時應該因安全問題而放慢開發速度。.

 

如果你正在閱讀這篇文章,你已經領先一步了。 訂閱我們的新聞簡報,繼續保持領先優勢。

免責聲明:本網站提供的資訊僅供教育和參考之用,不應視為財務或投資建議。

推薦文章

tradingkey.logo
風險提示:我們的網站和行動應用程式僅提供關於某些投資產品的一般資訊。Finsights 不提供財務建議或對任何投資產品的推薦,且提供此類資訊不應被解釋為 Finsights 提供財務建議或推薦。
投資產品存在重大投資風險,包括可能損失投資的本金,且可能並不適合所有人。投資產品的過去表現並不代表其未來表現。
Finsights 可能允許第三方廣告商或關聯公司在我們的網站或行動應用程式的任何部分放置或投放廣告,並可能根據您與廣告的互動情況獲得報酬。
© 版權所有: FINSIGHTS MEDIA PTE. LTD. 版權所有