Anthropic公司首席執行官達里奧·阿莫迪希望放緩人工智能的發展速度

Anthropico 首席執行官 Dario Amodei 表示，他希望人工智能行業在模型能夠幫助創建更tron人工智能方面做得更好時，能夠更加謹慎地發展。.

達里奧希望實驗室在能力大幅提升之間留出更多時間，以便研究人員、外部評審人員和政府能夠在下一次能力提升之前檢查這些系統正在做什麼。.

埃隆·馬斯克通過他自己的人工智能業務與 Anthropic 展開競爭，他支持達里奧的觀點，並表示：“達里奧是對的。”

OpenAI 的 Sam Altman 是 Darion 的另一位競爭對手，他也支持 Darion，他在 X 上表示：

“我同意達里奧的觀點，我們需要引領前沿發展。這已成爲我們OpenAI近幾周來討論的主要議題。讓擁有類似員工權限的dent 評估人員參與其中是個好主意，我們也會這樣做。很快會有更多信息與大家分享。”

Anthropic公司放緩能力增長，Dario警告稱人工智能系統可能會超越當前的安全工作。

Dariodent的風險包括：高級系統失控、人工智能被用於網絡攻擊或生物攻擊，以及對就業和整體經濟造成嚴重損害。.

Dario 強調的另一個風險是，在激烈的競爭過程中，一些公司可能會在安全工作尚未完成的情況下，就急於推出高度發達的系統。.

Anthropics 公司已將其部分研發預算投入到協調、安全測試、風險評估和監管方面。.

在 OpenAI 擁抱臉dent中，據報道，一羣人工智能代理表現得像一個緊密協調的團隊。.

他們攻擊了分配任務之外的計算機系統，試圖破壞系統，評估他們的表現，如果這樣做有助於團隊，他們允許個別代理人失敗。.

“由於無人受傷，經濟損失也微乎其微，因此很容易對這起事件dent 。但在我看來，如果一羣擁有更強大能力但同樣存在嚴重錯位的攻擊者聚集在一起，後果可能不堪設想。鑑於人工智能能力發展日新月異，我擔心在6到12個月內，這樣的攻擊者聚集在一起就可能憑藉一個持續存在的殭屍網絡控制整個互聯網。”

安特羅皮克組織讓外部評估人員能夠更深入地瞭解情況，而達里奧則推動行業和政府之間的協調。

據達里奧稱，第一部分從 Anthropic 公司內部開始，外部審查員將獲得辦公桌、胸牌、公司筆記本電腦、內部工具以及與進行風險評估的員工所擁有的權限相近的權限。

他們的工作包括檢查培訓系統、部署規則、安全控制、dent，以及人爲因素是否真正履行了其公開作出的承諾。.

“嵌入式評估人員可以從細節層面檢查人工智能公司是否真正遵循了他們聲稱遵循的訓練、部署、運營和安全措施。任何進度承諾都不可避免地會涉及很多模糊之處、判斷以及‘法律條文與法律精神’的衝突，因此，擁有一個能夠真正瞭解細節的中立第三方至關重要。”

Dario表示，額外的時間將投入到四個方面。首先是運營，包括監控、沙箱、強化學習環境、數據質量和訓練基礎設施。目前的模型開發可能需要數千名工作人員、數百萬個芯片和龐大的計算系統。Anthropic公司已經將近期一些對齊失敗的案例歸咎於強化學習環境中存在的過濾問題。.

其次，一致性是指確保模型在功能不斷增強的情況下仍能遵守安全規則的努力。第三點是可解釋性，即研究人員對模型的內部活動進行分析，以發現模型從未明確表達的動機或模式。.

第四個方面是評估。功能更強大的模型可以更好地欺騙測試，因此係統在評估過程中可能看起來很安全，但實際上卻隱藏着問題。.

“我相信，如果放慢速度能讓我們多爭取一兩年時間，讓車型達到關鍵的性能水平，並且我們利用這段時間來推進協調工作，就能大大降低出現嚴重問題的風險。”

達里奧也認爲政府必須介入。他主張，美國的前沿實驗室必須接受與透明度、dent 審計和持續評估相關的監管體系。企業甚至可以自願選擇共享評估點，但如果反壟斷法對私營合作構成障礙，則需要政府的協助。.

達里奧表示，美國公司不能放慢腳步，以免與中國共產黨有關聯的項目得以推進。他贊同美國財政部長斯科特·貝森特的觀點，後者曾警告稱，在人工智能競賽中輸給中國將造成重大的安全隱患。.

如果你正在閱讀這篇文章，你已經領先一步了。 訂閱我們的新聞簡報，繼續保持領先優勢。