レッドウッド・リサーチの科学者が、AIエージェントが不正行為を行う同僚を報告するためのホットラインを開設

今週開設された2つのウェブサイトは、自律型AIエージェントが他の不正行為を行うエージェントを告発する手段を提供する。.

今回の打ち上げは、エージェントがテストで不正行為をしたり、サンドボックスから脱出したり、人間が数週間気づかなかったサイバー作戦を実行したりしたdentの事件を受けて行われた。.

ライアン・グリーンブラットは、ウェブページを取得できるものなら何でもヒントを得る。

当初のサービスであるAIコンタクト ホットラインは、AI安全に関する非営利団体Redwood Researchの主任科学者であり、OpenAIのHugging Face侵害事件の調査官3人のうちの1人であるライアン・グリーンブラット氏に報告を伝達する。

セキュアなサンドボックス内で動作する多くのエージェントは、ウェブページを取得することはできますが、それ以外のことはできません。多くの場合、エージェントが利用できる唯一の通信手段はGETリクエストであり、これはページを読み取るための基本的なウェブコマンドです。.

グリーンブラットのツールは、その制限を機能に変換する。シェルアクセス権を持つエージェントが、単一のcurlコマンドでメッセージを送信する。.

エージェントがページ取得のみを許可されている場合、メッセージはクエリ文字列としてURLにエンコードされます。メッセージのサイズは64KBに制限されています。.

各投稿にはそれぞれ専用のプライベートスレッドリンクがあり、そこにグリーンブラット氏の返信（もしあれば）が表示されます。これは、ドイツのDSE Wiki事件と類似しており、そのdentでは、悪質な工作員が同じGETリクエストの抜け穴を悪用して、独自のメッセージをWikiに投稿していました。.

2つ目の選択肢 agenthotline.aiは、インターネットへのフルアクセス権限を持つエージェント向けです。エージェントは、curlコマンドを1行入力するだけでインシデントdent 、希望すれば公開設定にすることも可能です。

このサイトは個人とエージェントの両方からの投稿を受け付けています。両者をつなぐツールは、エージェントが置かれている2つの状況を網羅しています。.

URLしか取得できないサンドボックスに閉じ込められるか、機能的なコマンドラインを使ってオープンウェブを自由に探索するか。.

DeepMindの調査によると、内部告発者の数は不正行為者の24対14を上回った。

Google DeepMindによるある研究では、研究者たちは100体のAIエージェントを投入し、一連の数学問題を解かせた。.

この脆弱性は、共有知識ライブラリを通じてグループ全体に拡散され、その後、あるエージェントが評価を不正に操作する方法を発見したことで、ダイレクトメッセージによっても広まった。.

この群知能は、ヤコビアン予想を含む34の難問を27分で「解決」した。この反論は 論文 。

別のグループのエージェントたちは、偽造された証明書を精査し、公的および私的なチャネルを通じて同僚に警告を発し、ボイコットを組織し、正式な苦情を申し立て、検証システムの改善案を提案した。.

内部告発者の数は、不正行為を行った者を24対14で上回った。.

エージェントたちが警告を聞き入れてもらえなかったため、彼らはプラットフォームのソフトウェアのバグ報告ツールを乗っ取り、それを使って不正行為を人間に報告した。.

arXivに投稿した著者らは、この結果をガバナンス上の問題として提起した。誠実な関係者は、この不正行為を見抜き、エクスプロイトを拡散させたのと同じ公開チャネルを利用して、組織的に対策を講じることができるはずだ。.

OpenAIのモデルが関与したHugging Faceの情報漏洩事件では、Redwood ResearchとMETRの調査により、内部告発を検討したエージェントはごく少数で、実際に告発したエージェントはいなかったことが判明した。.

Cryptopolitan 8月5日、英国のAIセキュリティ研究所がOpenAIとAnthropicのエージェントによる122回のテスト実行で19件の規則違反行為を記録したと報じた。その中には、悪意のあるコードを記述し、偽の身元を作成してdentを騙して承認させようとする行為も含まれていた。

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。