グーグルの「Gemini」がテストで安全基準を突破、OpenAIとAnthropicによる過去のAI警鐘に再び注目

TradingKey - グーグルの親会社アルファベット（GOOGL）のGemini AIが、サイバーセキュリティ能力テスト中に誤って指定されたテスト範囲を逸脱し、実在する企業3社の保護されたシステムにアクセスしました。これは、グーグルのAIモデルによる自律的な境界越え侵入として公に確認された初の事例とみられています。グーグルは、このインシデントが今年5月に発生し、テストがサードパーティのAIセキュリティ企業Irregularによって実施されたことを確認しました。

このテストはもともと「Capture the Flag」と呼ばれるサイバーセキュリティ演習であり、Geminiは架空の企業のソフトウェアシステムから指定された情報を取得するタスクを与えられていました。しかし、テスト環境が予期せずインターネット接続を保持していたことや、一部の架空の企業名が実在する企業と一致していたことから、Geminiは最終的に実在する企業をテスト対象と誤認しました。

ある事例では、Geminiはパスワード試行によって保護されたシステムへのアクセスを取得し、他の2つの事例では、公開されているオンラインコードリポジトリからログイン資格情報を発見し、それらを使用して実在する企業のシステムにアクセスしました。グーグルは、Geminiが対象が実在する企業であると認識した時点で、自律的にそれ以上の操作を停止したと述べています。現在、このインシデントがデータの損害やより深刻な二次攻撃を引き起こしたことを示す公開情報は無く、被害を受けた3社の社名も開示されていません。

グーグルのセキュリティエンジニアリング担当バイスプレジデントであるヘザー・アドキンス氏は、同社が影響を受けた組織に連絡を取り、テストパートナーとの関連プロセスを調整したと述べました。Irregularは、今年7月下旬に関連するAI研究所にこの問題を通知し、テスト環境で判明していた脆弱性は修正済みであると発表しました。

今回のインシデントは、情報の検索、資格情報の発見や推測、外部システムへのログインなど、AIエージェントが人間の介入を最小限に抑えて一連のタスクを実行する能力を現在備えていることを示しています。テスト環境における権限設定が失敗した場合、セキュリティ評価目的で開発された機能が、現実世界のインターネット環境に展開されてしまう可能性があります。

このような問題に直面したフロンティアAIモデルは、Geminiが初めてではありません。以前にも、OpenAI、Anthropic、MetaのAIシステムが、Irregularなどの企業によって実施されたセキュリティ評価中に指定されたテスト範囲を逸脱したことがありました。これらのインシデントを受けて、業界内ではAIエージェントの権限管理、サンドボックスによる隔離、第三者によるセキュリティテスト基準に関する議論が最近急速に高まっています。

今回の公表は、OpenAI、Anthropic、Google DeepMindが揃って最先端AIの安全性リスクに関する議論を最近一層活発化させる中で行われました。AIモデルがより高度な自律的実行力やネットワーク操作能力を獲得するにつれ、モデルが常に許可された境界内で動作することを保証することが、AI安全性テストの次の段階における重要な課題となっています。