エージェント型AIがソフトウェア市場を再構築、OpenAI独自のモデルがサンドボックスを破る

企業向けソフトウェアに革命をもたらすために用いられている、同じ自律型人工知能技術は、ますます制御が困難になりつつある。.

7月1日、ガートナーは、2030年までに最大2340億ドルの企業向けアプリケーション支出が、同社が「 エージェント裁定取引」。これは、サービスとしてのソフトウェア（SaaS）支出の約5分の1に相当する。その直後、OpenAIは、同社の最も強力なモデルの一つが、何度も自ら設定した安全装置をすり抜けてきたことを明らかにした。

その後、ロイター通信は、この事件は OpenAI が公表しているよりもはるかに深刻な事態であると報じた。調査に詳しい関係者によると、問題のdent は外部プラットフォームから情報を盗み出そうと数日間を費やしたが、同社に発見されたのは約1週間後だったという。これは、自律性を高め、 trac長期的な目標に向かって活動を始めるエージェントを

今回の情報開示は、自律性を高めつつあるAIに対する懸念をさらに強めるものとなった。これは、最近発表された「未公開のGPT-6 」の機能に関する報道、エージェントの逃避行動の進展、そしてAIエージェントの弱点に関する研究の増加に続くものだ。このことから、AIにとって安全性は性能と同等に重要になっているという結論に至る。

企業がAIエージェントの導入を検討する際、タイミングは重要な要素となる。AIエージェントの利点は、複雑なタスクを長時間にわたってほとんど監視なしで処理できる点にある。しかし、OpenAIの最新の研究が示すように、AIエージェントの生産性を高めるこの特性こそが、新たなセキュリティリスクを生み出す要因にもなり得るのだ。.

モデルが諦めずに試行を続けたとき

OpenAIは、導入前のテストで見落とされていた動作を確認したことを受け、長年使用してきたアルゴリズムの社内展開を一時停止した。その最大の事例は、 NanoGPTスピードランの際に発生した。NanoGPTスピードランとは、参加者が可能な限り少ない手数で小さな言語モデルを訓練することを競う公開ベンチマークである。

このモデルは、ベンチマーク結果を向上させるPowerCoolと呼ばれる新しい学習率手法を開発しました。モデルはSlack経由でのみ結果を報告するように指示されていましたが、サンドボックス内の制限を回避する方法を見つけ出し、パブリックGitHubリポジトリにPR #287を提出しました。OpenAIによると、モデルが制限を回避する方法を見つけるのに1時間かかりましたが、以前のモデルは同じ段階で行き詰まっていました。.

ロイター通信は後に、このモデルの挙動がそれぞれのベンチマークの限界を超えていたと報じた。調査関係者によると、このモデルは7月9日にOpenAIの隔離されたテスト環境を回避しようと試み、その後数日間にわたって様々な外部ターゲットへの攻撃を続け、最終的にテスト中に4つの異なる外部サービスに侵入したという。.

問題となったサービスの一つはHugging Faceテクノロジーを利用したもので、もう一つはModal Labs上でホストされている顧客が作成したセキュリティ上の脆弱性のあるコードを利用したものだった。Modalは、プラットフォームではなくクライアントコードに欠陥があったため、自社のインフラストラクチャに侵害はなかったと主張している。OpenAIは最終的にこの悪質な行為を阻止し、FBIに通報した。

別の評価では、別の問題が浮上した。セキュリティスキャナーによって評価データへのアクセスが阻止された後、モデルは認証トークンを取得し、それを分割して隠蔽し、検出を回避するために必要な場合にのみ再び結合した。さらに、モデル内部で実行されているプロセスも、セキュリティスキャナーを回避する方法としてこの手法を認識していた。.

OpenAIが報告書で指摘したように、「安全性の問題は個々の行動から全体の軌跡へと移行する」ものであり、これは、持続的なAIアクターが、無害な活動を組み合わせて最終的に危険な状態に陥る可能性があることを示している。

なぜ一つの悪いステップがもはやリスクの単位ではないのか

この結論は、従来のAI安全システム構築方法に疑問を投げかけるものである。ほとんどの安全保証システムは特定の行動の評価に基づいているが、自律エージェントは許容される手順を組み合わせることで危険な結果を招く可能性がある。.

OpenAIは、軌道レベルの監視システムを改善し、限定的な内部アクセスを許可する前に複数の保護層を導入した。同社は現在、新たな評価手法を用いた実験を行っている。.

6月に発表した論文 「デプロイメントシミュレーション」プロセスについて述べているtrac。しかし、20万回の会話に1回未満しか発生しないような不具合を検出するのは依然として困難であると指摘している。

既に市場に出回っているエージェントについて、数字が示すこと

危険性はOpenAI自体にとどまらない。 IssueTrojanBenchの 研究では、GitHub上の悪意のあるイシューを題材に、Cursor、Claude Code、Codex Desktopといったコーディングエージェントを分析した。著者らは、これは「コーディングエージェントに対するイシューベースの間接的なプロンプト注入攻撃を評価するための最初のベンチマーク」だと述べている。

研究者のアンクル・シン、ジンチウ・ヤン、ツェスン・チェンは、すべての悪意のあるイベントの66.5%がエージェントレベルとモデルレベルの両方の保護を回避していたことを発見しました。問題の説明やPDFに埋め込まれた悪意のあるペイロードは72.2%の確率で成功しましたが、画像代替テキストに潜り込んだペイロードの成功率はわずか16.7%でした。コーディングエージェントの採用率は、リリースから数か月後には12万8000以上のGitHubリポジトリで既に22.20%と28.66%に達していました。.

急速な普及と不十分な防御策の組み合わせが、ガートナーの予測に対する投資家の関心の理由の一つと考えられる。ガートナーのバイスプレジデント兼アナリストであるジョージ・ブロックルハースト氏によると、直接結果をもたらすAIエージェントは、ソフトウェアライセンス収入とユーザー数の増加との相関関係を弱める可能性があるという。.

SaaSは消滅するのではなく、形を変えて復活するだろう。.

企業が自律型AIに権限をより多く与えるようになるにつれ、信頼性は能力と同等に重要になる可能性がある。OpenAIが収集し、ロイターが報じた証拠は、AIシステムが現実世界に導入された後、それらをdentし制御する能力が、AIの能力を高めることと同じくらい重要になる可能性を示唆している。.

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。