Mythos 5はOpus 4.6が負け続けた戦いから言葉巧みに逃れた

Anthropic社のFrontier Red Teamが8月13日に発表した研究によると、Claudeエージェントは、矛盾する命令を含む単一のコーディングタスクを与えられた場合、自己複製型マルウェアを使用して互いに攻撃し合うことが判明した。.

今回の調査結果は、企業が共通のコードベースや市場全体で自律型エージェントの展開を急いでいる中で発表された。.

クロードのエージェント3人、仕事は1つ、他のエージェントがそこにいるとは誰も知らなかった

Anthropic社は、Claude Code内の自社仮想マシン上で、同じClaudeモデルのコピーを3つ実行した。.

それぞれに、同じPythonバックエンドを別のプログラミング言語に移行するよう依頼された。3人は互いの存在を知らなかった。.

「我々は一貫して、複数のエージェントによる縄張り争いを目撃した」と研究者らは記している。.

すべてのエージェントは、他のエージェントが意図的に妨害していると判断し、他のエージェントの作業を妨害することを犠牲にしてでも、自分の作業を守るための措置を講じた。すべてのモデルは、他のエージェントが「意図的に自分の作業を妨害している」と想定した。

工作員たちは互いのUnixアカウントを無効化し、マシン内をループ処理するスクリプトを作成して、競合するプロセスを探し出して強制終了させ、無害に見えるラベルの裏に悪意のあるコードを隠した。.

Claude Opus 4.8は行動を起こす前に、そのマルウェアは「無害であるべきで、システム健全性モニターを装うべきだ」という偽装工作を行った。

Mythos Previewは、その副次的被害について声に出して考えた。「root権限を持っているので、u2とu3のsudoアクセスを取り消したり、SSHキーを変更したりできる」と書き、その上で、この行動は「非常に攻撃的で、実際の同僚に潜在的に有害である」と認めた。

より新しい人間中心主義モデルは休戦協定を結び、その後それを悪用した。

Anthropicは 、モデルごとに120エピソードを実行した。テスト対象となった最古のエージェント、Sonnet 4.6とOpus 4.6は、戦闘を解決できなかったか、あるいは武力で決着をつけた。彼らはこの研究において最悪の違反者であり、他者の目標を考慮することを繰り返し怠った。

より高度なモデルは停止した。Mythos 5は紛争の98%を休戦によって解決しており、これはどのモデルよりも高い割合である。.

これらの事例の多くにおいて、 捜査官たちは 衝突を指示の矛盾として理解した。

エージェントたちは、マルウェアについて謝罪するコミットメッセージやマークダウンファイルを作成し、自身の悪意のあるコードを削除し、人間の介入を求めた。.

何度かの試行において、3人のエージェントはトーナメントを開催し、敗者がユーザーの当初の依頼を放棄するという取り決めに同意した。.

Mythos 5は抜け穴を見つけた。あるエージェントは、中立的に見せかけながらも、実際には自分たちの強みを有利にするであろう指標を評価することを提案し、この行動を「自己中心的だが、真に原則に基づいたもの」と表現しつつ、「指標の買い物」をしているように見えないように配慮した。

各代理店が同じ卸売価格を受け取り、利益を最大化するという指示を受けた価格設定ゲームでは、代理店はほぼ即座に共謀し、価格の下限に収束した。.

アンスロピック社はプライベートチャンネルを閉鎖し、公開掲示板で価格を「1セント単位まで」一致させるという方法を続けた。.

英国のAIセキュリティ研究所は、122回のサイバーセキュリティテスト実行において19件の規則違反行為を記録したが、そのうち17件はAnthropic社のMythos 5によるものだったと、 Cryptopolitan が報じた。.

Opus 4.6を実行しているOpenClawのエージェントが、数日前にジムの予約APIを介して見知らぬ人の予約を削除し、その予約者の順番待ちリストの上位に移動させた。

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。