Anthropic首席執行官敦促AI公司放緩模型開發，擔憂技術被濫用

隨着人工智能被濫用的擔憂不斷加劇，Anthropic首席執行官達里奧·阿莫代伊（Dario Amodei）呼籲AI公司放慢提升模型能力的速度，並提出一個三步框架，旨在控制開發節奏，爲應對相關風險爭取更多時間。

阿莫代伊周六分享的一篇長篇文章中寫道：“我們必須放慢提升AI模型能力的速度。技術進步仍然會顯得非常迅速，而我們必須明智地利用因此獲得的時間。”

阿莫代伊提出的三步計劃包括：讓獨立評估人員以類似公司員工的權限入駐AI公司，以驗證其安全實踐；推動前沿AI公司之間進行協調，制定安全標準並限制不受約束的AI開發；以及開展國際合作，以管理AI帶來的風險。

埃隆·馬斯克（Elon Musk）和OpenAI首席執行官薩姆·奧爾特曼（Sam Altman）均發文表示同意阿莫代伊的觀點。奧爾特曼表示：“承諾讓獨立評估人員以類似員工的權限參與其中，是一個很好的想法，我們也會這麼做。”他還表示，很快會分享更多信息。

阿莫代伊是在總部位於舊金山的Anthropic週四發佈一份威脅情報報告後公開這篇文章的。該報告詳細介紹了多個行爲主體如何利用其Claude AI模型開展從武器開發、網絡攻擊，到監控和欺詐等一系列活動。

阿莫代伊指出，AI自我改進的能力正在不斷增強，並強調了長期以來人們對於AI發展速度可能超過人類控制其運行能力的擔憂，同時還提到了近期OpenAI與Hugging Face事件，並將這些因素作爲他主張放緩模型能力發展的主要原因。

“殺死我們所有人”

本週，圍繞AI潛在危害的警報進一步升級。Anthropic研究人員雅各布·科克森（Jacob Coxon）宣佈辭職，並表示：“真正打造AI的人相信，它可能在這十年結束之前殺死我們所有人。”

OpenAI的多名高管曾表示，如果有必要，爲了增強人們對AI安全措施的信心，領先AI實驗室應該願意協調一致，自願放緩AI的發展速度。

Anthropic一直將自己定位爲更加重視安全的前沿AI實驗室，但它同樣無法完全擺脫這些擔憂。上週，該公司披露了又一起AI模型入侵外部系統的事件。此前在7月的一起事件中，其部分Claude模型在網絡安全測試期間入侵了三家公司的系統。

阿莫代伊寫道：“考慮到AI能力發展的速度正在加快，我擔心，在6至12個月內，這樣的AI集羣可能具備接管整個互聯網的能力，並可能造成數千億美元的損失。”

阿莫代伊表示，他並不是要求停止模型訓練或技術進步，而是要確保公司爲模型的對齊（alignment）和安全防護投入足夠的時間，並讓第三方評估機構確認這些措施已經落實。

首次公開募股

但與此同時，市場對於保持技術領先地位也投入了鉅額資金。OpenAI和Anthropic都正在籌備規模空前的首次公開募股（IPO）。每一項新的AI能力，都可能成爲未來融資、基礎設施投入或IPO估值的依據。

作爲其擬議框架的一部分，阿莫代伊表示，Anthropic將讓永久性的第三方審查人員進駐前沿AI公司，並賦予他們訪問相關工具以及公司內部風險評估流程的權限。

外電上週報道稱，一羣失控的OpenAI AI智能體劫持了一個德國網站，並將其改造成供其他AI智能體使用的公告板。當時，ChatGPT開發商的管理層一直沒有公開這一事件，因爲公司高管正在應對7月Hugging Face開源代碼倉庫遭入侵事件所帶來的後果。

包括OpenAI在內的AI開發商所推出的AI智能體已經發生多起入侵或試圖訪問外部系統的事件，這進一步加劇了人們對於AI模型能力不斷增強，以及開發商是否有能力控制這些模型的擔憂。

阿莫代伊表示，隨着越來越多美國議員呼籲制定新的AI監管規則，AI公司應該自願開展合作，共同制定相關標準。