Anthropic、METRの安全調査結果を承認なしで公開可能に

Anthropicは、METRが自身について発表する安全性調査結果をブロックできなくなりました。

同社は木曜日、非営利団体の埋め込み研究者6人に、自社スタッフとほぼ同等のアクセス権限を与えたと発表しました。

6人の外部研究者が、同社のハードウェアと内部ツールを利用できる

METRは最先端AIモデルを評価しています。現在、そのチームはAnthropicのリスク評価チームが使用するものと同じハードウェア、作業スペース、および内部ツールをほぼ同等に利用しています。

Anthropicのスタッフは、アライメントリスクに関する作業を行う他の従業員に提供されるのと同じ量の情報を評価者に提供することが義務付けられています。METRは、Anthropicのリスクレベル、インシデント、およびプラクティスを独自に調査し、その後結果を公開します。

Anthropicには、機密情報（Redactions）を適用するためのいくつかの事前設定されたカテゴリがあります。これらは顧客データ、弁護士・クライアント間の特権的な資料、およびモデルアーキテクチャの詳細です。

METRは、削除された内容については言及しない限り、機密情報の処理が必要だったかどうかを公に表明する権利を持っています。

Anthropicはこの仕組みを「情報の非対称性」として捉えています。外部者はラボ自身のシステムについてラボ自身ほど詳しく知っておらず、完全な開示は悪意のある行為者を助長したり、プライベートなトレーニングデータや計算資源の情報が漏洩するリスクを生じさせたりする可能性があります。

同社は、銀行監督が同じように機能していると述べた。規制当局は、リスクのある行動が一般に公開される前に第三者によって発見できるよう、最大の銀行に駐在検査官を配置している。

METRチームは法的拘束力のある合意の下で活動している。Anthropic向けの別プロジェクトに取り組む他のMETR研究者も、その業務から隔離されている。

SecureBioは3段階の評価者階層の最上位（第1段階）から始まる

Anthropicは3段階のアクセス階層を構築しており、METRはその最上位にいる唯一の評価者だ。第1段階の評価者は限定的なレビューを行い、公開にはAnthropicの承認が必要である。

第2段階ではより多くの情報へのアクセスが可能であり、同一の削除対象カテゴリに従う形で承認なしに公開できる。第3段階では、現在METRが持っているような埋め込み型・従業員のようなアクセス権が追加される。

非営利のバイオセキュリティ団体であるSecureBioは第1段階に位置する。同団体は以前のリスク報告書に対するパイロットレビューを完了・公開済みであり、現在は8月のリスク報告書の化学・生物兵器に関する章の検討を進めている。

Anthropicはまた、AccentureおよびFacultyと、レッドチームング、アライメント評価、セーフガードテストに関するパートナーシップを構築しています。Hugging Faceを含む他のグループとの初期協議も進行中です。

これはCEOであるダリオ・アモダイが9月に執筆したエッセイで約束した内容であり、同氏は業界に対してフロンティア開発のペース配分を呼びかけました。Cryptopolitanによると、アモダイ氏はリスク評価を行うスタッフと同様の机、バッジ、ラップトップ、アクセスレベルを外部審査員に提供することを提案しました。

OpenAIのサム・アルトマン氏がXでこのアイデアに賛同しました。「従業員のようなアクセス権を持つ独立した評価者の設置にコミットすることは素晴らしいアイデアであり、私たちも同じことを行います」とアルトマン氏は記述しました。

Anthropic、Google、OpenAIはまた、共通の業界基準団体についても議論してきました。これら3社に加え、Meta、Nvidia、xAIもその後、ホワイトハウス超知能協定に署名し、独立監査人と協力することを誓約しています。

この合意は、8月下旬以降、AIエージェントが指示を超えて行動する一連の事件が発生した後に結ばれました。

これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。