OpenAI首席科学家兼首席执行官就Astra解锁关键能力发出“不可监控性”警告

OpenAI 的首席科学家 Jakub Pachocki 在该公司成为人工智能竞赛中首家在“准备框架”中获得“关键”网络安全称号的公司后几个小时就站了出来，此前该公司预览了其即将推出的 Astra 模型。.

帕乔基周三早些时候发出的警告旨在平息人们对人工智能实验室可能不再对其最大型模型的能力加以防范的担忧。.

为什么 OpenAI 的 Astra 是“关键”的？

“危急”级别是 OpenAI 于 2023 年 12 月向人工智能领域推出的“准备框架”中的一个级别。该“准备框架”衡量的是人工智能模型需要多少人工提示和干预才能在多个加固的系统中发现并构建可行的零日漏洞，或者运行完整的新型攻击。

零日漏洞是指利用软件开发者尚未发现的漏洞进行攻击。.

OpenAI 在 9 月 1 日发布的“通往 Astra 之路”博文中宣布，该模型发布后，只需极少的人工干预即可完成所有针对全新攻击或零日漏洞利用的步骤。

OpenAI 在其博客文章中引用了 Astra 在 ExploitBench 上的 100% 得分作为证据，ExploitBench 是一项测试模型如何利用已知漏洞的测试。.

Astra 不仅在策划零日攻击方面更胜一筹，而且效率更高。OpenAI 通过一项内部测试证明了这一点，该测试针对 20 个近期才公开的高危 V8 漏洞进行。Astra 消耗的令牌更少，成功生成了两个零日漏洞，并且在生成任意代码执行方面整体表现优于 Sol。.

该帖子还指出，Astra 可以将未知的浏览器漏洞串联起来，实现沙箱逃逸，并在专家主导的测试中，从普通用户一路攀升至 root 用户，完成了操作系统权限提升。.

正如 TechCrunch 所提到的，Astra 加入了 Anthropic 的 Mythos 模型，该模型于今年早些时候发布，是第一个具备这些功能的大型语言模型。

帕乔基呼吁大家不要对阿斯特拉感到恐慌

OpenAI首席科学家帕乔基 反驳了外界 关于OpenAI正 凭借Astra 进入未知领域的恐慌情绪。他表示，他不想看到“一场因混乱的报道而引发的无法监管的竞赛”。

OpenAI 的一位高管坚称，实验室在运用“思维链监控”（即逐步分析模型运行过程中展现的推理过程）方面做了充分的尽职调查。他在 X 帖子中提到，OpenAI 当前最前沿模型（包括 Astra）背后的计算图深度与 GPT-4 的深度相差不到两倍。.

在帕乔基之前，OpenAI 的首席执行官萨姆·奥特曼也在 Astra 博客发布的同一天呼吁保持冷静。

“这里显然存在矛盾，”他周二写道，称Astra“非常出色”，同时指出安全措施必须与模型本身的性能同步发展。奥特曼表示，OpenAI整个夏天都在努力确保该模型具备必要的安全措施。.

关于安全性的讨论已经持续数周。8月18日，OpenAI承诺 暂停部署模型的强化学习训练 两周，以便其工程师加强研究集群并优化监控。训练于8月28日恢复。

OpenAI表示，Astra并未参与如今臭名昭著的“拥抱脸”dent。该公司还表示，即使在设置了旨在诱使其重现“拥抱脸”事件的场景后，该模型也从未试图逃出其沙盒。.

人工智能实验室现在对谁可以访问其前沿模型持谨慎态度。

OpenAI 表示，现在所有人都可以使用 Astra 最先进的功能，而这些功能将保留给 OpenAI 的 Daybreak 联盟中的组织，Daybreak Blue 公司将可以使用最强大的防御功能。.

据 Cryptopolitan 报道，Anthropic 还表示，只有参与其 Project Glasswing 的 才能访问 Mythos 5.1，Mythos 5.1 基本上是 Fable 5.1，但增加了单独的安全措施。

OpenAI 还表示，它将监控并限制对被判定为高风险账户的查询回复。此外，Astra 还将提供额外的思路监控功能，以便更频繁地发现不良行为并拒绝有害的网络请求。.

关于 Astra 的大部分信息都是 OpenAI 自己提供的，而 OpenAI 的安全性或功能声明缺乏第三方验证。.

曾在 OpenAI 工作、目前在 OpenAI 基金会从事 AI 韧性研究的 Yona Shavit 公开质疑 Astra 在测试中的表现是否反映了真正的一致性，还是仅仅因为模型知道评估者想看到什么。.

OpenAI表示，完整的系统卡和进一步的评估将在Astra全面发布后推出。在此之前，其网络安全能力的覆盖范围以及相关防护措施的强度仍难以判断。.

如果你正在阅读这篇文章，你已经领先一步了。 订阅我们的新闻简报，继续保持领先优势。