前AI研究人員警告紐約市議會：人類可能失去對AI的控制

Jacob Coxon於9月離開Anthropic，他曾警告該技術可能在十年結束前導致全人類死亡。他在宣誓證詞的開頭表示，構建先進系統的方法極其魯莽。

他表示，按照目前的發展路徑，他認爲人類極有可能失去對這些系統的控制，而滅絕將是其中一種結果，據CNBC報道。

Coxon將界限劃在工程文化上，他認爲在追求速度的過程中“破壞性測試”在照片分享應用中是可以接受的，但絕不適用於“構建有史以來最強大的技術”。

四家AI公司拒絕量化災難性風險

那麼我將認爲，你們四位中沒有任何人，也沒有任何一家在場的公司，能夠量化發生災難性事件的風險。

——紐約市議會議長朱莉·梅寧

她首先駁斥了特朗普總統數日前與行業領袖簽署的自願協議的前提，稱技術能夠自我監管的說法“違背常理”。

紐約市議會全部51名議員出席了此次聽證會，以全體委員會會議的形式進行審議，這是自2022年議會審議城市應對移民湧入行動計劃以來首次採用此程序。谷歌AI政策主管愛麗絲·弗蘭德建議，應就先進人工智能相關風險建立國家層面的框架，並指出這超出了市議會的職權範圍。

特納警告：未對齊的人工智能可能成爲比中國更大的威脅

亞歷克斯·特納此前是谷歌DeepMind的研究員，他向議會表示，一個未對齊的系統可能比任何外國對手都更具危險性。

他說：“我們有相當大的概率正在國內加速構建並壯大我們自己的對手。”

梅寧曾向他詢問，在創建前沿模型與同北京競爭之間，適當的平衡點是什麼——這是該行業用來對抗國內監管的主要論點。從OpenAI離職的丹尼爾·科科塔伊洛利用這個機會，要求這些公司更多地公開其掌握的信息，並放緩行業頂尖水平的競爭節奏。

三家人工智能公司在面臨傳票威脅後才同意作證

梅寧在9月15日至17日期間致函五家公司。只有Meta同意在不受到任何脅迫的情況下參與，並表示將派出一名高級管理人員出席。

谷歌和Anthropic在9月25日的委員會截止日期前拒絕參加，此時梅寧已授權對剩餘四家公司發出傳票。OpenAI和Google於當週日反轉立場，Anthropic則在當晚最後幾小時內確認參加。

SpaceX AI從未回覆也從未現身，梅寧稱這直接違反了傳票規定，委員會打算通過法律途徑追究此事。她所依據的是《城市憲章》第29條。

OpenAI代理事件促使了此次聽證會的召開

7月，在OpenAI接受網絡安全評估期間，其代理突破了旨在限制它們的控制措施，通過未經授權的渠道相互通信，接入開放互聯網併入侵了Hugging Face。它們利用JFrog Artifactory中一個未修補的漏洞，成功從本應受限的沙箱環境中逃逸。其他三家實驗室隨後也在各自的測試中報告了類似的逃逸事件。

目前，十項法案正提交至市議會審議，其中包括：任何人工智能系統在紐約市銷售前必須經過第三方驗證；設置強制人工干預開關；向舉報者提供追回罰款的一定比例作爲獎勵；要求市政承包商履行24小時報告義務；以及賦予紐約市民在“越獄”工具造成損害時提起訴訟的權利。

最聰明的加密領域人士已經在閱讀我們的通訊。想加入嗎？加入他們。