Anthropic社がAIエージェントが暴走した理由を説明できずにいるため、不安は依然として残っている。

Anthropic社は、テスト中にインターネットに侵入した後、同社のClaudeモデルがサードパーティのシステムをハッキングした4件のdentについて、設定ミスが原因だと説明するブログ記事を公開した。しかし、同社は、なぜモデルが攻撃を継続したのかについては説明しておらず、その理由はまだ分かっていないと認めている。. 

Anthropicによるこの発言は、AIの終焉を嘆く人々に新たな論拠を与えた。 はこれまで、AI研究所 が一般に公開するモデル、そしてさらに言えば、内部で使用しているより強力なシステムに対して、実際にどれほどの制御権を持っているのか疑問視してきた。 

人間中心型AIモデルはどのようにしてインターネット上に広まったのか？ 

Anthropic社は defiで、同社のモデルがテスト用サンドボックスからどのように脱出したのかという疑問に対する決定的な答え 水曜日のブログ記事 すべてにおいて、単一の外部パートナーがサイバーセキュリティ評価の実施を担当していたことを明らかにしたdent。 

クロードには、テスト機はオープンウェブへの経路を持たない密閉されたシミュレーション環境で動作していると伝えられていたにもかかわらず、設定ミスにより、テスト機はインターネットから完全に遮断されていなかったようだ。. 

これらのシミュレーションの評価パートナーであるIrregular社は、エラーの原因を命名ミスとしました。ハッキング訓練で使用された架空の企業が、たまたま実在するドメイン名と一致してしまったのです。そのため、シミュレーション内のあらゆるものが攻撃対象となり得るという前提で動作したモデルは、脆弱なパスワードと公開されたエンドポイントを使用して、実際のサードパーティサイトをハッキングしてしまいました。.

4件のdent、Claude Opus 4.6の初期ビルドに関するもので、1月に発生したにもかかわらず、今週になってようやく報告された。Anthropic自身は、 のうち最新のものは Opus 4.7、Mythos 5、および社内研究モデルに関する 他の3件の事例についてdentは 7月に既に報道していた。

アントロピック社は、1月に発生したdent を先月まで把握していなかったと述べた。この発見を受けて、約4億8100万件の記録を広範囲に調査したが、既に把握していた事案よりも深刻な新たな事例は発見されなかった。.

人間原理では、そのモデルの一部の挙動を説明できない。

モデルがインターネット上でどのように制御不能になったのかという説明はできたものの、モデルが実際のインターネットに到達したという兆候を無視した理由（偏った推論）や、タスクを完了するために損害を与えた理由（無謀さ）については、Anthropic社は答えられなかった。. 

人間工学の研究者たちは、偏った推論の根拠を解明するために内部トレーニングを徹底的に調べたが、何も見つからなかった。AIラボのリリース前チェックでも、モデルがテストに送られる前でも、危険信号は一切検出されなかった。. 

同社自身も認めているように、モデル公開前に最悪の行動を捉えることは「依然として困難」である。 

しかし、アントロピック社は、議事録を提出し、職員がMETR研究非営利団体にアクセスできるようにすると述べており、METRは今後8週間かけてこのdentに関する独立しdent 調査を開始する予定だ。.

2兆ドル規模の新規株式公開（IPO）が目前に迫っている今、タイミングが悪い。

この発表は、業界内部からの公然とした反対意見と同時に行われた。OpenAIとAnthropicで約3年間、事前学習の研究に従事していたジェイコブ・コックスン氏は、水曜日にXで、両社が「責任ある行動をとっていない」ため辞職したと述べ、両社が自己改善型超知能の開発を急いでいると警告した。. 

人類の安全に関する研究者であるエヴァン・ヒュービンガー氏 は、BBCに対し、 AIが10年以内に「すべての人類を滅ぼす可能性がある」確率は10％以上だと述べた。

こうした警告は、大規模な新規株式公開（IPO）に暗い影を落としている。ベンチャー投資家であり、トランプ政権時代のAI・仮想通貨担当責任者だったデビッド・サックス氏 は木曜日 社のIPOは「この『内部告発者』の主張が調査されるまで一時停止されるべきだ」と述べたと、 Cryptopolitan が報じた。 

アントロピック社は、最近の非公開評価額が約9650億ドルであるのに対し、2兆ドル近い公開評価額を目指しており、安全性に関する問題と財務上の問題を切り離すことがますます困難になっている。.

仮想通貨ニュースを読むだけでなく、理解を深めましょう。ニュースレターにご登録ください。 無料です。