Anthropic警告：AI自研AI或超越安全边界并扰乱市场
人工智能正在承担创建更强大模型所需的更多任务。Anthropic 宣称 Claude 已经确保了这一过程更加快速，尽管它仍然无法自行创建继任者。该公司在 6 月 4 日的一份评估中表示，人工智能的进步带来了技术直接超越安全检查和监管监督的风险。
当AI构建自身时，它尚未意味着什么
然而，Claude 尚未达到递归自我改进的水平，即人工智能无需任何人工输入即可创建并训练其继任者。根据 Anthropic的说法，目前尚无系统实现这一能力。
尽管Claude并未拥有完全自主权，但它已能承担Anthropic大部分编码工作。截至2026年5月，Claude已为公司软件项目贡献了超过80%的代码。在2026年第二季度，一名典型工程师每日提交的代码量是2024年的八倍。
这些数据展示了编码产出的增长幅度，但并不一定反映实际完成的有效工作量。METR 引用的一项针对 349 名技术人员的 调查发现，在使用 AI 工具后，他们自评的工作价值中位数为原来的 1.4–2 倍。
26%由Claude主导，其中没有任何一部分是完全自主的
Claude 的功能已不仅限于编写代码。Anthropic 的 8 月数据显示，它在 26% 的人工智能研发任务中处于主导地位，而 2 月份这一比例不到 1%。Claude 参与或主导了超过 90% 的工作，但人类始终参与其中。所有被评估的工作均未完全自主完成。
Anthropic的研究与METR调查衡量的是不同的内容。Anthropic追踪的是借助AI系统完成的代码生成和研究工作，而METR则衡量员工对其工作价值提升的主观感知。然而，这两项研究均未表明AI是否具备确定哪些研究问题需要解决的能力。
即使没有任何单一模型实现自我改进，这种效应仍可能不断累积放大
人工智能无需完全自主也能加快研究速度。根据 RAND 10 月报告，AI 代理可以在不专注于创建自身继任者的情况下构建更强大的模型。它们已经可以通过访问敏感模型和代码对安全构成威胁。
据METR的经济学家称，可能会因数据可用性、计算能力和开展实验研究的能力等因素而受到限制。然而，他们并未否定AI发展持续加速的可能性
关键在于独立的安全审查能否跟上AI驱动实验的步伐。否则，在完全自主性到来之前很久，监管就可能滞后。
从追逐前沿到管控前沿
这一担忧促使Anthropic首席执行官达里奥·阿莫迪呼吁放缓开发速度并引入独立评估机构。他在九月文章中写道：
“我们必须减缓提升AI模型能力的速度。”
OpenAI在9月16日的披露中详细说明了六起令人担忧的模型行为案例。Cryptopolitan也报道了科技界领袖之间关于是否应放缓AI开发的分歧。
但就安全问题达成共识并不保证会采取行动。CSIS警告称，外部评估者必须避免利益冲突。政府也必须防范监管俘获。行业范围内的协议仍充满不确定性。
资金流向算力
这场辩论同样涉及巨大的经济利益。斯坦福2026年人工智能指数显示，2025年私人AI投资增长了127.5%。美国的投资额是中国的23倍。经合组织也警告称，芯片、云基础设施和数据的获取仍然高度集中。这就形成了一个悖论：虽然AI可能使研究性编程的成本降低，但训练和测试先进模型仍需巨额投入。因此，更快的开发速度可能会让领先实验室相对于较小的竞争对手获得更大的优势。
最聪明的加密领域人士已经在阅读我们的通讯。想加入吗？加入他们。
