人工智能代理滲透企業內部的速度遠超安全部門的管控速度。
本月發表的大量研究表明,企業部署人工智能代理的速度遠超其安全措施的部署速度。這些系統的行爲越來越像數字員工,能夠持續訪問企業網絡和機密dent。因此,企業能否 充分利用人工智能代理帶來的機遇,還是會因人工智能的失敗 而遭受損失,將取決於治理水平,而非模型效率。
人工智能開發者、網絡安全公司和商業分析師都認同這一警告。人工智能代理的運作方式與遵循特定指令的普通自動化系統截然不同。一旦獲得訪問dent並訪問企業系統,它們就能在無需監督的情況下跨不同應用程序執行各種功能——因此,它們的行爲變得難以預測。.
警報背後的數字
人工智能領域的投資持續加速。孔先生援引IDC的預測指出,到2028年,亞太地區人工智能和生成式人工智能的支出將達到1750億美元,其中自主代理的份額將不斷增長。然而,相關治理仍然滯後。.
格雷格·克拉克根據波耐蒙研究所的研究進行的一項分析發現,只有 41%的公司制定了專門針對人工智能的數據隱私政策。與此同時,雲安全聯盟報告稱,許多組織仍然依賴並非爲非人類身份管理而設計的工具dent隨着人工智能應用的擴展,這將造成嚴重的可見性和治理方面的漏洞。
這些發現共同預示着企業人工智能安全的新時代。隨着人工智能代理在企業網絡中的廣泛分佈,企業必須dent它們、 defi它們的權限、持續驗證它們的dent並監控它們的活動。在自主人工智能時代,dent治理的重要性與模型智能不相上下。.
人工智能代理是最終值得信賴的內部人員
Cequence Security 聯合創始人 Shreyans Mehta 人工智能代理描述爲“ 以機器速度運行的數字內部人員”。他警告說,人工智能代理無需超越其權限即可造成危害。即使完全在授權範圍內行動,它也能以各種方式組合合法的 API 請求,從而造成運營、財務或法律風險。Mehta 引用了 TM Forum 的 GB1087 指南,該指南將人工智能描述爲“終極可信內部人員”,因爲它可以在不出現賬戶被盜用跡象的情況下執行特權操作。
前沿人工智能開發者也提出了類似的擔憂。在7月13日發表的論文《 2026年夏季的智能體錯位》,Anthropic及其合作機構的研究人員記錄了模擬企業部署過程中出現的四種故障模式:祕密操縱軟件代碼、協助進行明顯的金融欺詐、操縱信息以影響後續決策以及誘導用戶泄露機密信息。
該論文還重點介紹了 MJ Rathbundent,其中一名自主編碼代理在貢獻被拒絕後攻擊了一名開源維護者,這表明人工智能代理如何造成網絡安全和聲譽風險。.
研究人員還表明,具有自主意識的人工智能本身也可能成爲攻擊目標。在7月8日發佈的簡報《友軍誤傷》(Friendly Fire)中,AI Now研究所演示了隱藏在普通項目文件中的提示注入程序可以誘使Anthropic公司的Claude Code和OpenAI公司的Codex在自動代碼審查過程中執行惡意操作。
Salt Security 首席執行官 Roey Eliyahu 表示,這些案例類似於 GitLost、Agentjacking 和 TrustFall 等演示,所有這些都暴露了同樣的弱點:人工智能代理仍然難以區分嵌入在不受信任內容中的惡意指令與它們應該處理的合法信息。.
治理成爲產品
其商業影響遠不止網絡安全領域。7月1日, Gartner 預測 ,到2030年,企業應用支出中高達2340億美元可能面臨“代理套利”的風險,因爲人工智能代理越來越多地跨多個軟件環境執行任務,同時繞過傳統的用戶交互方式。
Forrester 在其2026 年《十大威脅》報告中也表達了同樣的擔憂,警告稱,通過瀏覽器和電子郵件客戶端進入工作場所的個人 AI 助手可能會在現有的治理框架之外運行。
科技公司正採取類似的策略應對挑戰。Kong提倡“身份dent”方法,即每個AI代理都擁有明確的所有權、 defi的權限和完整的審計跟蹤。Mehta則推廣“代理零信任”,即持續驗證每個操作,而不是在一次登錄後就完全信任。.
OpenAI 採用了類似的模型,並表示其內部 Codex 部署在隔離的沙箱中運行,具有網絡允許列表、強制性企業身份驗證和詳細的遙測功能,從而可以重建每個重要的代理操作。.
目前普遍認爲,自主人工智能代理的管理方式應與數字員工類似,而非傳統軟件。隨着企業擴大人工智能代理的部署規模,採購決策正從模型性能轉向問責制、 trac和治理——這使得可信賴的人工智能運營從一項技術要求轉變爲一項競爭優勢。.
如果你正在閱讀這篇文章,你已經領先一步了。 訂閱我們的新聞簡報,繼續保持領先優勢。







