アントロピック社の安全責任者が10％以上の絶滅リスクを警告

人類の行動様式に関する科学研究のリーダーであるエヴァン・ヒュービンガー氏は、人工知能が今後10年以内に人類を滅亡させる可能性は10％以上あると述べている。.

彼の見解は火曜日に発表された。これは、研究者のジェイコブ・コックスンがアントロピックを辞任し、アントロピックとオープンAIがよりtronなシステムを追求する中で容認できないリスクを冒していると非難した数時間後のことだった。ジェイコブはXに「彼らは自己改善型超知能を目指して猛スピードで突き進み、私たちの命を賭けている」と書き込んだ。

よると 、この技術を開発する人々は、2030年よりも前にこうした事態が起こるリスクがあると見ているという。彼は、将来のAIは人間のハッカーを非常に速いスピードで凌駕し、産業を変革し、資金や資源へのアクセスを奪う可能性があると指摘している。

人類学研究室は、AI研究所が自己改善システムの開発を推進する中で、絶滅リスクを数値化した。

エヴァンは、ジェイコブの警告は正しかったと答え、アントロピックには超知能を人間の目標と一致させる方法が欠けていると述べた。.

「ジェイコブの言う通り、私たちはAIが人類を滅ぼす可能性があると真剣に信じています！個人的には、今後10年以内に10%以上がそうなると思っています。Anthropicは最善を尽くしていると思いますが、超知能との連携を解決する計画はまだなく、明確な tracに乗っているとは言えません」とエヴァンは書いています。.

エヴァンは後に、現在のモデルによる危険性は「低い」と述べた。彼が懸念しているのは、再帰的な自己改善、つまりシステムが人間の介入をほとんど必要とせずに自身の能力を繰り返し向上させる能力だ。そのような能力はまだ実現していないが、AI研究所はそれを目指して研究を進めている。彼は、そのプロセスを通じて出現する超知能は予想以上に速いペースで進んでいると述べた。.

Anthropic社は6月に同様の警告を発した。「完全な再帰的自己改善は、人間がAIシステムを制御できなくなるリスクを高める可能性もある」と述べ、さらに「システムが自らの後継者を完全に構築できる能力を持つ場合、それらを保護、監視、そしてその行動を規定する方法は、これまで以上に重要になる」と付け加えた。

AnthropicとOpenAIは、株式公開に向けて資金調達を進めている。CNBCがコメントを求めたところ、両社ともすぐには回答しなかった。.

テスラ（NASDAQ: TSLA）とスペースX（SPCX）のCEOであるイーロン・マスク氏は、AIが人類を脅かす可能性があると長年警告してきた。研究者や学者も、企業が制御を失うことについて同様の懸念を表明している。.

7月にオープンソースの開発者プラットフォームであるHugging Faceにdentを「警告射撃」と呼び、米国の研究所間の合意をより現実的なものにするものだと述べた。これにより、米国内の連携についてはより希望を持つようになったものの、世界的なAI開発競争を止めるのは依然として難しいだろうと彼は考えている。OpenAIのモデルが侵入したことで、こうした懸念が再び高まった。ジェイコブ氏はこうした

「世界的な競争を防ぐための tracに乗っているとは感じられません。そのためには、モデルの性能向上を一時的に禁止するなど、費用のかかる措置が必要になるかもしれません」とジェイコブ氏は述べた。.

クロードのコーディングスキル向上は、Anthropicがソフトウェアをテストする方法や、自社エンジニアの作業をチェックする方法を変える。

アントロピック社によると、クロード社は2026年5月時点で、最も難易度の高い無期限の作業の76％を完了しており、これは6か月間で50パーセントポイント増加したことになる。.

ある事例では、定期的なシステムアップグレードによって数万件のトレーニングジョブがクラッシュしたことから始まった。エンジニアはクロードに状況説明の文書と、稼働中のコンピューティングクラスタへのアクセス権を提供した。.

クロードは実行中のジョブをチェックし、環境設定を一つずつテストして、原因が分かりにくいデバッグフラグにあることを tracた。約2時間で問題を再現し、原因を証明し、修正を確認した。アントロピック社によると、同じ作業を人間のエンジニアが行うと通常2～3日かかるという。.

同社はまた、 クロードが 他のエンジニアが理解し、発展させることができるコードを書けるかどうかも評価している。しかし、この比較については社員の間で意見が一致していない。2025年後半には、多くの社員がクロードのコードはアントロピック社の人間のコードに劣ると考えていた。現在、同社は両者の品質はほぼ同等であり、クロードは1年以内にさらに上回ると予想している。

この進歩により、Anthropicの内部レビュープロセスが変わりました。提案されたコード変更は、マージされる前に自動化されたClaudeレビューツールによってチェックされるようになりました。このツールは、バグ、セキュリティ上の脆弱性、その他の欠陥をスキャンします。.

遡及的なテストの結果、過去の変更点をすべてこのように見直せば、以前のClaudeのdentの約3分の1を本番稼働前に発見できたことが判明した。Anthropic社は、元のコードは世界でも有数のシステム構築能力を持つエンジニアによって作成されたものだと述べているが、Claudeは彼らが見落としていたミスを発見した。.

Anthropic社は、この比較を次のように説明しています。「2025年後半の時点では、Anthropic社におけるClaudeが書いたコードは人間が書いたコードよりもやや劣っていましたが、現在はほぼ同等のレベルに達しており、1年以内には明らかに改善されると予想しています。」

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。