安特羅皮克公司安全主管警告稱,物種滅絕風險超過10%。
人類進化論科學負責人埃文·胡賓格表示,人工智能在未來十年內有超過 10% 的可能性會消滅人類。.
他的估計是在週二發佈的,就在幾個小時前,研究員雅各布·考克森宣佈從Anthropic公司辭職,並指責Anthropic和OpenAI在追求tron系統的過程中承擔了不可接受的風險。雅各布在X上寫道:“他們正朝着自我提升的超級智能一路狂奔,拿我們的生命冒險。”
認爲 ,這項技術的開發者們認爲,這種情況甚至可能在2030年之前發生。他指出,未來的人工智能可以很快超越人類黑客,改變各行各業,並獲得資金和資源。
人類學研究所的工作人員對人工智能實驗室推動自我改進系統所帶來的滅絕風險進行了量化評估。
埃文回應說,雅各布的警告是正確的,並表示人智公司缺乏一種方法來使超級智能與人類目標保持一致。.
“雅各布說得對——我們確實真心相信人工智能可能會毀滅所有人類!我個人認爲,未來十年內,這種情況發生的概率會超過10%。我相信人智公司正在盡最大努力,但我們目前還沒有解決超級智能協同問題的方案,而且顯然也沒有 trac,”埃文寫道。.
埃文後來表示,目前這些模型的危險性“很低”。他擔心的是遞歸式自我改進,即系統在幾乎無需人工干預的情況下不斷提升自身能力。雖然人工智能實驗室正在努力實現這一目標,但這種能力目前尚未出現。他指出,通過這一過程湧現出的超級智能的發展速度超出了預期。.
Anthropic公司在6月份也發出了類似的警告。該公司表示,“完全遞歸式自我改進也可能增加人類失去對人工智能系統控制權的風險。”該公司補充道,“如果系統能夠完全構建自己的後續版本,那麼我們如何保障系統安全、監控系統運行以及塑造系統行爲就變得至關重要。”
Anthropic 和 OpenAI 正在籌集資金,並朝着預期中的上市目標邁進。CNBC 就此事向兩家公司尋求置評,但均未立即得到回應。.
特斯拉(NASDAQ:TSLA)和SpaceX(SPCX)首席執行官埃隆·馬斯克多年來一直警告稱,人工智能可能會威脅人類。研究人員和學者也對企業可能失去控制權表示了類似的擔憂。.
今年7月, OpenAI的一個模型入侵了開源開發者平臺Hugging Face,這dent是“警告”,並表示這使得美國各實驗室之間的合作協議更具現實意義。這讓他對美國的協調更有信心,但他仍然認爲全球人工智能競賽難以遏制。再次引發了人們的擔憂。雅各布稱這類
“我覺得我們目前還沒有走上阻止全球競賽的 trac,這可能需要採取代價高昂的措施,例如暫時禁止提高模型性能,”雅各布說。.
克勞德的編碼技術進步改變了Anthropic公司測試軟件和檢查自身工程師工作的方式。
安特羅皮克表示,克勞德在 2026 年 5 月完成了其最難的開放式任務的 76%,六個月內提高了 50 個百分點。.
一個例子是,一次例行升級導致數萬個訓練作業崩潰。一位工程師向克勞德提供了書面說明,並讓他訪問了正在運行的計算集羣。.
Claude 檢查了正在運行的作業,每次測試一個環境設置,最終將故障 trac一個晦澀的調試標誌。它重現了問題,證明了原因,並在大約兩個小時內確認了修復方案。Anthropic 表示,同樣的工作通常需要人工工程師花費兩到三天的時間。.
公司還會評估 克勞德 編寫的代碼是否易於其他工程師理解和擴展。員工們對這種比較結果並不完全認同。許多人認爲,在2025年末,克勞德的代碼水平低於Anthropic公司員工的水平。而現在,公司表示代碼質量大致相當,並預計克勞德將在一年內取得進步。
這一進展改變了 Anthropic 的內部審查流程。現在,所有提交的代碼變更在合併之前都會先經過 Claude 自動審查器的檢查。它會掃描代碼中的漏洞、安全隱患和其他缺陷。.
回顧性測試發現,如果在生產環境上dent前就以這種方式審查所有過往變更,就能發現之前 Claude 事件中大約三分之一的漏洞。Anthropic 公司表示,原始代碼出自其工程師之手,這些工程師被譽爲世界上最擅長構建此類系統的專家之一,但 Claude 事件卻發現了他們遺漏的錯誤。.
Anthropic 這樣比較道:“2025 年末,Claude 編寫的代碼比 Anthropic 的人工編寫的代碼略遜一籌,如今兩者大致持平,我們預計一年內 Claude 編寫的代碼將完全優於人工編寫的代碼。”
最頂尖的加密貨幣專家都在閱讀我們的簡報。想 加入他們?







