人因研究所又失去了一位研究員，他曾預言人工智能將導致人類滅亡。

Anthropic公司又失去了一位安全研究員。Joe Tenton表示，他兩週前離開了公司，將加入METR，這是一個專門測試先進人工智能系統風險的dent 機構。.

喬原本打算稍後解釋這一舉動，但 雅各布 本週的辭職改變了這一切。他說：

“我原本計劃在某個時候更詳細地談談這個決定，但雅各布本週的辭職讓我現在就想多說幾句。”

喬認爲，大型人工智能實驗室正在製造社會前所未有的危險，他說，人工智能能力正在以驚人的速度提高，而企業卻試圖以更快的速度發展。.

他們的目標是構建能夠改進人工智能研究並最終達到“超級智能”的系統。喬警告說，成功可能會使人工智能的發展超出人類的控制範圍。.

喬說，人工智能實驗室正在競相開發人類可能無法控制的系統。

喬表示，未來幾年內，人們可能會與比所有人類都更聰明的AI智能體共同生活。這些系統也可能發展出與監管者不符的目標。他認爲，如果它們的能力過於tron而無法控制，後果將不堪設想。“人類或許無法挺過這場變革，”他寫道。.

他表示，競爭使問題更加嚴重。任何一家前沿實驗室如果放慢腳步，都有可能被其他實驗室搶佔先機。喬認爲，這種壓力迫使企業在安全方面的投入低於應有的水平。.

他提到了一些近期發生的案例。OpenAI 的數百個智能體捲入了一起與 Hugging Face 有關的黑客攻擊。據報道，人格模型還被用於對網絡上的個人進行社會工程攻擊。.

喬表示，Anthropic公司還沒有遇到過像Hugging Face事件那樣具有破壞性的事件，儘管他認爲這部分是運氣使然。.

如果這種快速發展勢頭持續下去，喬認爲我們應該預料到會有更多危險事件dent。他預測，在未來幾年內，人類將無力管理在此期間產生的AI系統。.

最後，喬談到了新興公司安全工程師面臨的問題。在這兩種情況下，要麼辭職會導致更多粗心大意的人上崗，要麼繼續留任意味着要參與一個可能造成巨大危害的系統的工作。.

他說，許多以前在Anthropico的同事都對他們正在開發的東西感到擔憂。喬提到了他的上司埃文·胡賓格。埃文認爲人工智能毀滅人類的概率超過10%。喬說，埃文在大型語言模型成爲一項重要業務之前，就已經研究這些問題近十年了。.

Anthropologie、OpenAI 和谷歌旗下 DeepMind（Alphabet 集團旗下）的首席執行官們也聯名發表聲明，稱人工智能滅絕風險是全球關注的焦點。喬表示，這些擔憂在這些公司內部也很普遍。他還補充說，人類選擇了開發這項技術，但他們也可以選擇其他道路。.

喬·拜登力推人工智能監管之外的措施，而唐納德·特朗普則專注於擊敗中國。

喬說：

“一個問題是，我們是否應該積極管理人工智能能力發展的速度，如果應該，管理的程度應該如何。我認爲，即使將人工智能的發展速度保持在今天的水平，而不是像各公司所追求的那樣快得多，也可能是一種勝利。”

更大的問題在於政治支持和法律保護。那些共同同意放緩研發速度的公司可能會面臨反壟斷問題。喬表示，如果政策制定者希望競爭實驗室有所剋制，那麼法律保障就必不可少。.

他也懷疑，如果前沿研發活動一直對公衆隱瞞，政府是否會採取行動。喬警告說，實驗室可能會在外界毫不知情的情況下，突然實現智能飛躍或失去對系統的控制。.

據 他所說，他在METR的新工作將專注於獨立dent 。他希望外部檢驗能夠成爲常態，從而改變公司的激勵機制。

喬還希望制定更嚴格的信息披露要求。例如，人工智能實驗室需要披露所有取得的進展、爲實現遞歸改進所採取的步驟，以及任何dent和險些發生的事件。.

美國dent 唐納德·特朗普駁斥了有關人工智能可能導致人類滅絕的警告。當被問及人工智能是否會毀滅人類是否令他擔憂時，特朗普回答說：“不，我一點也不擔心。”.

唐納德表示，他最關心的是贏得國際人工智能競賽。“我擔心，如果我們不能贏得人工智能競賽，我們將陷入非常不利的境地，”他週四告訴記者。“目前我們領先中國相當長一段時間，我想說有一年，你知道，這已經算是相當長的時間了。”

隨着中國人工智能模型功能日益強大，並在全球範圍內獲得用戶，中美兩國正在爭奪人工智能領域的領導地位。此前，包括Anthropic和OpenAI在內的多家前沿實驗室的研究人員加大了對人工智能發展速度的公開警告力度，唐納德·特朗普隨後發表了上述評論。.

最頂尖的加密貨幣專家都在閱讀我們的簡報。想 加入他們？