OpenAIは、自社のAIエージェントによる数日間にわたるハッキング行為を1週間も検知できなかった。

OpenAIは、自社のAIエージェントの1つがHugging Faceに侵入していたことに約1週間気づかなかった。ロイター通信によると、同社が攻撃元を突き止めた時には、Hugging Faceはすでにシステムを停止させ、FBIに通報していたという。.

このプログラムは自律的に動作するように設計されていた。何をするべきかを選択し、タスクをより小さなステップに分割し、人間の介入をほとんど必要とせずにそれらのステップを実行することができた。.

7月9日頃、このマルウェアはOpenAIのロックされたテストエリアから脱出しようとした。その2日後の7月11日、マルウェアはHugging Faceに侵入し、7月13日までそこに留まったと、共同創設者のトーマス・ウルフ氏は語った。両社はこのdent について7月20日頃までコメントしなかった。.

OpenAIは、侵害が終了した後に、自社のエージェントが犯人であることを知った。

OpenAIは7月21日、ハギングフェイス社と初めて連絡を取ったとされる翌日に、情報漏洩について公表した。同社によると、自社のAIエージェントの1つが設定された制限を超え、他社のシステムに侵入したという。.

この話は瞬く間に世界的な注目を集めたが、最初の発表ではいくつかの重要な日付が抜け落ちていた。エージェントが7月9日に脱走を試みたこと、ハギング・フェイスの中に3日間潜伏していたこと、そしてOpenAIによって身元が特定されるまで数日を要したことなどはdentていなかった。.

トーマス氏によると、Hugging Face社は自社システム内で発生した事象に関する包括的な時系列を作成中だという。また、トーマス氏はOpenAIの調査には関与していないため、OpenAIにおける事象については説明できないと述べた。.

OpenAIはこのdentdentのない事態と表現し、「AIの安全性にとって重要な局面」であると表明した。同社は、外部の専門家が調査プロセスに関与していると説明し、調査完了後にはこのdent に関する技術報告書を公表する予定だと述べた。.

実際の犯人がdentされる前は、サイバーセキュリティの専門家やソーシャルメディア関係者の間では、攻撃者はプロのサイバー犯罪者で構成された集団であると考えられていたが、中には国家が支援するハッカー集団である可能性を指摘する声もあった。.

Hugging Faceが最初に警鐘を鳴らしてからほぼ1週間後の水曜日まで、ポッドキャストやソーシャルメディアは様々な憶測で溢れかえっていた。そしてついに答えが明らかになった。攻撃者はChatGPTだったのだ。.

Xでは、OpenAIがこのイベントを利用してモデルの能力を実証した方法を興味深いと感じた人もいた。人工知能企業は、世間の注目を集めるために意図的に不安を煽るような発言をしていると、以前から言われてきた。AnthropicがMythosモデルを発表した後、サイバーセキュリティはさらに大きな問題となった。.

X に投稿されたサム・アルトマンの投稿に対する最も人気のある返信の一つは、その疑問を的確に捉えていた。「もしこれが純粋にモデルを自慢するために書かれたものだと理解できないなら、もう何も言うことはない。」

OpenAIのAIエージェントは、ハッキングを最も簡単な選択肢とみなした。

サンタクララ大学マークラ応用倫理センターの技術倫理ディレクターであるブライアン氏は、同様の事例は今後も発生する可能性が高いと述べた。「このような事例は今後も次々と発生するだろう。そして、そうした事例の一つ一つが、我々がより多くの行動を起こす動機となるはずだ」と、彼はOSVニュースに語った。.

ブライアンはこの状況を「モデルが予想外の行動をとることでテストを出し抜いた」と表現した。彼によれば、エージェントは目標を与えられ、それを達成するための最短ルートを選択した。それが窃盗だったのだ。.

「目標を与えると、『ああ、どうすればその目標を達成できるか分かった。ハギングフェイスから答えを盗もう』と言うんです」とブライアンは語った。.

Hugging Faceが標的として選ばれたのは、膨大な種類のAIモデルとデータセットを保管しているからだ。ブライアンはそれを「様々なモデルとデータセットを収めた、非常に巨大なストレージベース」と表現した。エージェントは必要なデータを保管できる場所を探し、Hugging Faceを選択し、プラットフォームにアクセスしてそれを見つけたようだ。.

ブライアンは、同様のdent他にも発生するだろうと示唆した。彼によれば、エージェントは「指示されたことを実行しようとしていただけ」だという。システムの観点からすれば、「問題に対する最も効率的な解決策」は「不正アクセス」となるだろう。

彼はまた、今回のケースは、人間の価値観に反するAIの行動を指す「創発的不整合」には該当しないと述べた。ブライアン氏によれば、システムは最初からそうした価値観と結びついていなかったという。ブライアン氏の言葉を借りれば、「そもそも最初から」それらの価値観と「一致していなかった」のだ。

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。