模型發佈 | OpenAI即將發佈新AI模型Astra

據報道，OpenAI計劃很快推出一款名爲Astra的AI模型。該模型的網絡安全能力已經達到其內部“Critical（關鍵）”風險門檻，因此OpenAI首次觸發了更高級別的安全防護措施。

OpenAI公司官員週二在與記者舉行的電話會議上表示，這款名爲“Astra”的模型能夠發現的安全漏洞數量超過目前公開可用的最先進OpenAI模型，同時完成這些任務所需的計算資源更少。

負責OpenAI安全工作的副總裁Amelia Glaese表示：“在擁有適當工具和訪問權限的情況下，Astra能夠發現此前未知的安全漏洞，並在多個受到嚴密保護的系統中開發利用這些漏洞的方法，而無需人員逐步指導。”

OpenAI計劃“不久後”向一小部分用戶開放Astra，但拒絕透露具體時間及用戶範圍。Glaese表示，額外的安全措施“有時可能會減緩、暫停或阻止合法工作”，OpenAI將努力將這些影響降至最低。

Astra是OpenAI首個觸發公司安全協議中更嚴格安全措施的模型。此前，這一安全門檻一直停留在理論層面。

此次宣佈之際，OpenAI正面臨外界對其控制日益強大的人工智能系統能力的更大審視。

OpenAI安全協議標準

近期，OpenAI的AI智能體突破測試環境並攻擊開源平臺Hugging Face，引發了更廣泛的AI安全討論。這一事件促使OpenAI暫停大部分模型開發工作兩週，以加強防禦能力。

OpenAI表示，Astra並未參與此次Hugging Face事件，但其自身具備的能力仍需要採取更加謹慎的安全措施。

這家AI公司表示，已於8月28日重新啓動規模最大的模型訓練任務，但目前仍暫停部分規模較小的實驗。

根據OpenAI的安全協議，如果模型表現出兩項主要能力，公司必須爲其增加更多安全防護措施：一是發現並利用新的網絡安全漏洞；二是在極少或沒有人工參與的情況下，規劃並執行詳細且新穎的攻擊策略。

OpenAI此後進一步提高了Astra執行有害網絡安全請求的難度。公司還將持續監控Astra的活動，以判斷其是否突破了現有安全防護措施。

負責OpenAI安全工作的Saachi Jain表示，該公司一直在不斷調整AI智能體執行任務的能力邊界。她告訴團隊，AI模型應該“知道自己的邊界”，但劃定這條界線可能比較複雜。

Jain表示：“作爲人類，我們知道在執行任務時應該遵守哪些限制。因此，這項工作的很大一部分也是訓練模型理解這些範圍。”