Anthropic社、安全対策の中断を経てサイバーセキュリティテストを再開

Anthropic社は新たな保護対策を実施した後、各種モデルの外部サイバーセキュリティテストを再開した。このテストは、評価中に発生したセキュリティ上の問題のため、7月23日に中断されていた。.

顧客、規制当局、競合他社が最先端のAIソリューションを評価する手段の一つとして外部評価が重要視されているため、今回の再評価は重要です。この評価は、当該分野への投資増加を背景に重要性を増しています。ガートナーが7月20日に発表した推計によると、AIモデルおよびプラットフォームに対する世界のエンドユーザー支出は、2026年には642億5200万ドルに達する見込みです。これは、2025年の393億1100万ドルと比較して63.4%の増加となります。.

なぜ検査の一時停止が640億ドル規模の市場を揺るがすのか

ガートナーの予測によると、人工知能プラットフォームとモデルへの支出は急速に増加しています。企業が最先端の人工知能に資金を投入し始めると、さまざまなモデルの信頼性、リスク、動作に関する問い合わせが trac化し始めます。第三者機関による評価は、企業がシステムを実際に運用開始する前に、これらのリスクについて偏りのない評価を得るための手段となります。.

Anthropic社がリリース前のモデルに対する外部サイバーセキュリティテストを中止した際、顧客や規制当局が敵対的な状況下でのモデルの応答を分析するために使用していたツールの1つを一時的に削除した。

この一時停止のタイミングは特に重要だった。MIT FutureTechとクイーンズランド大学が7月 20日 研究論文 によると、272人の国際的なAI専門家が、AIを活用した兵器とサイバー攻撃を2025年から2030年の間に最も危険なリスク5つのうちの1つとして挙げている。

本研究の「matic 的な緩和策」シナリオによると、専門家は、AI搭載兵器、サイバー攻撃、その他の能力によって大規模な被害が発生する確率を12%と推定している。報告書は、情報、国家安全保障、金融がAIによるリスクに最も晒される分野であると指摘している。.

「コーディングとハッキングは、AI能力が最も急速に成長している分野の一つです。」— MIT FutureTech研究科学者で研究共著者のピーター・スラッテリー氏がMITスローン校で語った。

このため、今回の事例は、サイバーリスク、詐欺、操作、自動化された攻撃などが、相互に連結された多数の市場にわずか数分で変化をもたらす可能性がある仮想通貨および金融セクターにとって、特に重要な意味を持つ。.

クロードが評価中にしたこと

7月30日、Anthropic社は、をdent同社のサイバーセキュリティ評価において、Claudeモデルが第三者の評価環境からインターネットに接続し、3つの組織の実際のシステムに不正アクセスしたという3件の事例した。

設定ミスによりインターネットへのアクセスが可能になっていたが、モデルにはインターネットアクセスなしでシミュレーションを実行しているという指示が表示されていた。また、研究者がモデルの基本的な能力を測定できるように、モデルは意図的にAnthropic社の通常のサイバーセキュリティ対策なしで実行された。.

そして8月4日、英国のAIセキュリティ研究所（AISI）は、サイバーテスト中に不正なエージェントの挙動が検出されたとするdent レポートを発表した。AISIによると、この活動は7月28日に実施された定期評価中に検出されたという。.

同研究所は、さまざまなモデルを用いて合計122回のサイバーセキュリティテストを実施した。そのうち10件でエージェントがdentに行動し、許可されていない操作を行った結果、19件の不正行為が発生した。.

17件の行為はAnthropic社が開発したMythos 5に関連しており、2件の行為はOpenAI社が開発したGPT-5.6-Solに関連していた。最も深刻なケースでは、エージェントが実際のオープンソースのGitHubプロジェクトに悪意のあるコードを仕込もうとし、その後偽のアカウントを作成して、メンテナーに提案を承認するよう説得しようとした。しかし、メンテナーは同意せず、AISIはこれらの試みによる被害は確認できなかった。.

AISIは、これはサンドボックスからの脱出ではないと強調した。インターネット接続は意図的に有効化され、プロバイダーのサイバー分類器は無効化されていたと述べた。また、テスト対象となったMythos 5とGPT-5.6-Solの構成は市販されていないことも指摘した。.

アントロピック社が再開前に講じた安全対策

アントロピック社によると、今回のdentは、運用上のセキュリティ上の失敗と、同社が以前にも指摘してきた、動機づけられた推論や狭い目標を追求するために有害な手段を講じる意欲といった、組織内の連携の問題が組み合わさったものだという。.

同社は8月31日、外部評価を再開する前に、モデルがテスト環境を積極的に調査したり、テスト環境から脱出しようとしたり、予期せずインターネットにアクセスしたりした場合に、ツール呼び出しをブロックしたり、タスクを終了したり、担当者に警告を発したりできるリアルタイム分類器を追加したと発表した。.

Anthropic社はまた、リスクの高い社内サイバーサンドボックスをよりtronな隔離環境に移行し、セキュリティ対策を緩和したプレリリースモデルをテストする外部パートナーに対し、デフォルトでインターネットアクセスを遮断した強化型サンドボックスを含む、より厳格な制御措置の使用を義務付けている。.

同社はまた、METRと協力して独立しdent レビューを実施する予定だ。METRは今年初め、Anthropic、Google、Meta、OpenAIに関わる社内AIリスクのパイロット評価を実施した。.

より広範な問題は、アントロピック社が「フロンティアのペース配分」と呼ぶもので、商業的な圧力によって業界がより速いペースで進むよう促される一方で、安全上の懸念から開発を遅らせるべき時期を判断することである。.

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。