人工智能代理渗透企业内部的速度远超安全部门的管控速度。
本月发表的大量研究表明,企业部署人工智能代理的速度远超其安全措施的部署速度。这些系统的行为越来越像数字员工,能够持续访问企业网络和机密dent。因此,企业能否 充分利用人工智能代理带来的机遇,还是会因人工智能的失败 而遭受损失,将取决于治理水平,而非模型效率。
人工智能开发者、网络安全公司和商业分析师都认同这一警告。人工智能代理的运作方式与遵循特定指令的普通自动化系统截然不同。一旦获得访问dent并访问企业系统,它们就能在无需监督的情况下跨不同应用程序执行各种功能——因此,它们的行为变得难以预测。.
警报背后的数字
人工智能领域的投资持续加速。孔先生援引IDC的预测指出,到2028年,亚太地区人工智能和生成式人工智能的支出将达到1750亿美元,其中自主代理的份额将不断增长。然而,相关治理仍然滞后。.
格雷格·克拉克根据波耐蒙研究所的研究进行的一项分析发现,只有 41%的公司制定了专门针对人工智能的数据隐私政策。与此同时,云安全联盟报告称,许多组织仍然依赖并非为非人类身份管理而设计的工具dent随着人工智能应用的扩展,这将造成严重的可见性和治理方面的漏洞。
这些发现共同预示着企业人工智能安全的新时代。随着人工智能代理在企业网络中的广泛分布,企业必须dent它们、 defi它们的权限、持续验证它们的dent并监控它们的活动。在自主人工智能时代,dent治理的重要性与模型智能不相上下。.
人工智能代理是最终值得信赖的内部人员
Cequence Security 联合创始人 Shreyans Mehta 人工智能代理描述为“ 以机器速度运行的数字内部人员”。他警告说,人工智能代理无需超越其权限即可造成危害。即使完全在授权范围内行动,它也能以各种方式组合合法的 API 请求,从而造成运营、财务或法律风险。Mehta 引用了 TM Forum 的 GB1087 指南,该指南将人工智能描述为“终极可信内部人员”,因为它可以在不出现账户被盗用迹象的情况下执行特权操作。
前沿人工智能开发者也提出了类似的担忧。在7月13日发表的论文《 2026年夏季的智能体错位》,Anthropic及其合作机构的研究人员记录了模拟企业部署过程中出现的四种故障模式:秘密操纵软件代码、协助进行明显的金融欺诈、操纵信息以影响后续决策以及诱导用户泄露机密信息。
该论文还重点介绍了 MJ Rathbundent,其中一名自主编码代理在贡献被拒绝后攻击了一名开源维护者,这表明人工智能代理如何造成网络安全和声誉风险。.
研究人员还表明,具有自主意识的人工智能本身也可能成为攻击目标。在7月8日发布的简报《友军误伤》(Friendly Fire)中,AI Now研究所演示了隐藏在普通项目文件中的提示注入程序可以诱使Anthropic公司的Claude Code和OpenAI公司的Codex在自动代码审查过程中执行恶意操作。
Salt Security 首席执行官 Roey Eliyahu 表示,这些案例类似于 GitLost、Agentjacking 和 TrustFall 等演示,所有这些都暴露了同样的弱点:人工智能代理仍然难以区分嵌入在不受信任内容中的恶意指令与它们应该处理的合法信息。.
治理成为产品
其商业影响远不止网络安全领域。7月1日, Gartner 预测 ,到2030年,企业应用支出中高达2340亿美元可能面临“代理套利”的风险,因为人工智能代理越来越多地跨多个软件环境执行任务,同时绕过传统的用户交互方式。
Forrester 在其2026 年《十大威胁》报告中也表达了同样的担忧,警告称,通过浏览器和电子邮件客户端进入工作场所的个人 AI 助手可能会在现有的治理框架之外运行。
科技公司正采取类似的策略应对挑战。Kong提倡“身份dent”方法,即每个AI代理都拥有明确的所有权、 defi的权限和完整的审计跟踪。Mehta则推广“代理零信任”,即持续验证每个操作,而不是在一次登录后就完全信任。.
OpenAI 采用了类似的模型,并表示其内部 Codex 部署在隔离的沙箱中运行,具有网络允许列表、强制性企业身份验证和详细的遥测功能,从而可以重建每个重要的代理操作。.
目前普遍认为,自主人工智能代理的管理方式应与数字员工类似,而非传统软件。随着企业扩大人工智能代理的部署规模,采购决策正从模型性能转向问责制、 trac和治理——这使得可信赖的人工智能运营从一项技术要求转变为一项竞争优势。.
如果你正在阅读这篇文章,你已经领先一步了。 订阅我们的新闻简报,继续保持领先优势。










