OpenAI提议制定全球AI标准
OpenAI周一发布一系列关于前沿人工智能开发安全与保障的建议,重点关注AI对齐研究以及“递归自我改进”(Recursive Self-Improvement,RSI)。
OpenAI在博客中表示,随着AI能力不断提升,对齐研究也需要跟上发展速度,以确保公司及其他开发者打造的AI系统仍与人类价值观保持一致,并处于人类控制之下。
OpenAI呼吁开展国际合作,制定前沿AI标准,并建议在全球现有AI安全研究机构工作的基础上进一步推进。
该公司表示,这些技术标准应重点覆盖前沿AI模型及其开发者,同时关注自动化AI研究人员的收益与风险管理,其中包括递归自我改进。
RSI受到AI开发者关注,因为这项技术有可能让基础模型在无需人工参与的情况下自行升级。
但随着相关研究推进,一些技术人士也开始担心,如果AI系统变得更加复杂,并进一步进入互联网各个领域,基础模型开发商可能会失去对底层技术的控制,或者无法充分考虑AI自主改进带来的意外后果。
OpenAI表示,目前“完全自主的递归自我改进”尚未实现,在能够确保安全之前,也不应推动这一技术。如果缺乏足够谨慎的措施,RSI可能导致人类逐渐失去对AI发展的实际控制,甚至无法监督自己已经无法理解的研究过程。
OpenAI还提到了此前发生的Hugging Face智能体遭黑客攻击事件。该事件并未使用RSI技术,但OpenAI认为,这可以作为一种预演,说明如果缺乏完善的安全措施和对齐机制,未来类似风险可能进一步扩大。
Anthropic提出AI安全方案
就在上周,OpenAI的竞争对手Anthropic也提出了有关安全开发前沿AI模型的建议,回应近期业内人士对于AI可能对人类造成威胁的警告。
Anthropic CEO Dario Amodei此前发表文章,呼吁AI公司放慢基础模型的开发速度,并提出让第三方评估机构进入AI公司,对相关技术进行审查,以识别和降低潜在风险,例如利用AI加速网络攻击或制造生物武器。
OpenAI CEO Sam Altman以及特斯拉和SpaceX CEO埃隆·马斯克等业内人士也公开支持这一提议。
不过,目前AI评估仍处于早期阶段,行业尚未就统一的标准和原则形成共识,因此独立第三方对前沿AI技术进行深入审查的能力仍然有限。
近期,一批AI评估机构也呼吁基础模型开发商考虑设立一套“最低条件”,包括提供更深入的技术访问权限,以及避免评估机构因发布不利于AI公司的报告而遭到报复,以便更全面地开展安全审查。








