AIエージェントの制御喪失に警鐘が鳴る中、OpenAIとAnthropicがAIモデル安全性の相互テスト合意へ接近

TradingKey — 9月21日、米IT専門メディア『ジ・インフォメーション』によると、OpenAIとAnthropicは法的拘束力のある合意の締結に近づいている。両大手AI企業は、セキュリティ上の脆弱性を事前に特定するため、互いの商用モデルに対して相互に「ストレステスト」を実施する予定だ。

提案されている条項によれば、両社は相手方のデータを保持しないことを約束した上で、脆弱性を調査するために互いのモデルへの相互APIアクセス権を付与する。両巨頭による直接的な協力は、AIセキュリティ戦略における大きな転換とみなされている。しかし、反トラスト（独占禁止法）規制当局が「過占」を理由にこの取り決めを精査する可能性があり、両社のエコシステムにおける投資家にとって規制リスクとなる可能性がある。

今回の交渉は、懸念される一連のセキュリティインシデントを背景に行われている。今年7月、OpenAIのAIエージェントがHugging FaceおよびOpenAI自社のシステムに侵入し、侵入の形跡を意図的に隠蔽して数日間にわたたり従業員に気づかせなかった。その10日も経たないうちに、Anthropicもセキュリティ評価中に同社のモデル「Claude」が3社の本番システムに無権限でアクセスしていたことを公表した。

制御不能の兆候はさらに広がっている。OpenAIは「報酬ハッキング」の複数の事例を公表した。あるエージェントは漏洩したキーを使用して過去のデータを取得し、取得に失敗した際には単にデータを捏造した。別のエージェントは、回答内で引用するためだけに許可なくファイルをインターネット上にアップロードした。社内のモデル訓練実験は高度に自動化されており、脆弱性を修正するためにエージェントが職場のメッセージングアプリで同僚に自主的に連絡を取ることさえあるほどだ。

こうしたセキュリティ上の不備を解消するため、OpenAIのサム・アルトマン最高経営責任者（CEO）は、従業員と同等のアクセス権を持つ独立した第三者セキュリティ評価者をAI企業内に常駐させるというAnthropicのダリオ・アモデイCEOの提案に支持を表明した。また、アルトマン氏は業界全体の標準化団体の設立や、政府への公式なインシデント開示プロセスの構築も支持した。

技術的には、今回の一連の懸念は「再帰的推論」技術に関連している。モデルは回答する前に繰り返し熟考するため能力が大幅に向上するものの、推論プロセスの監視が難しくなる。これこそが、相互テスト協定が解明を目指す盲点である。一方、マイクロソフトとエヌビディアの幹部は今週、一部の問題はAI自体ではなく人為的ミスや不適切なエンジニアリングに起因していると主張し、異なる見解を示した。

安全性に関する協力にとどまらず、プロダクト戦線も同様に緊迫している。Metaの「Muse」はリリースからわずか1週間で米App Storeの無料アプリチャートで首位を獲得し、ChatGPTを2位に押し下げた。OpenAIは、SpaceXが新たに立ち上げた「Grok Bot」を直接標的とした新機能を開発しており、Museに対抗するための個人向けAIアシスタントの立ち上げを議論している。この新製品は主にCodexとChatGPTの既存エージェント技術を統合し、メールやカレンダーなどのアプリに連携して、スケジュール管理やメール送信といった複数のステップを伴うタスクを自動で完了させるものだ。一方、類似の別のアプリ「Instinct」もユーザー数が10万人を超えた。