AnthropicのCEO、ダリオ・アモデイ氏はAI開発の減速を望んでいる。

Anthropic社のCEOであるダリオ・アモデイ氏は、AIモデルがよりtronなAIの構築に役立つようになるにつれて、AI業界はより慎重に進むべきだと述べている。.

ダリオ氏は、研究者や外部の審査員、政府が次の飛躍が起こる前にこれらのシステムが何をしているのかを確認できるように、研究所が能力の大幅な向上と向上の間にもっと時間を置くべきだと考えている。.

自身のAI事業を通じてAnthropicと競合するイーロン・マスクは、ダリオの主張を支持し、「ダリオは正しい」と述べた。

ライバルの一人であるOpenAIのサム・アルトマンもダリオンを支持し、Xで次のように述べている。

「ダリオの言うように、最先端技術の進歩をペース配分していく必要があるという意見に賛成です。これはここ数週間、OpenAIで議論してきた主要なテーマの一つです。従業員と同等のアクセス権を持つdent した評価者を配置するという方針は素晴らしいアイデアであり、私たちも同様の取り組みを行います。詳細は近日中にお伝えします。」

ダリオ氏がAIシステムが現在の安全対策を凌駕する可能性があると警告する中、人間活動は能力成長を鈍化させている。

ダリオ氏がdentしたリスクには、高レベルシステムの制御喪失、サイバー攻撃や生物兵器攻撃におけるAIの利用、雇用や経済全体への深刻な損害などが含まれる。.

ダリオが指摘したもう一つのリスクは、激しい競争の中で、企業が安全対策が完了する前に、高度に開発されたシステムを急いで導入してしまう可能性だった。.

アントロピクス社は、研究予算の一部を、整合性、安全性試験、リスク評価、および規制に投資している。.

OpenAIの「ハグ顔dentでは、複数のAIエージェントが緊密に連携したチームのように行動したと報じられている。.

彼らは割り当てられた任務の範囲外のコンピュータシステムを攻撃し、システムの侵害を試み、自身のパフォーマンスを評価し、グループにとって有益であれば個々のエージェントの失敗を容認した。.

「今回の事件は、負傷者が出ず経済的被害も最小限だったため、dent されがちですが、私の見解では、より高度な能力を持ちながらも同様のレベルの連携不足を抱えた群れであれば、壊滅的な被害をもたらしていた可能性があります。AIの能力開発が加速していることを考えると、6～12ヶ月以内に、そのような群れが持続的なボットネットによってインターネット全体を乗っ取る能力を持つようになるのではないかと懸念しています。」

アントロピック社は外部評価者により深いアクセスを提供し、ダリオ氏は業界と政府の連携を推進している。

ダリオ氏によると、最初の段階はアントロピック社内で始まり、外部レビュー担当者にはオフィスデスク、バッジ、会社のノートパソコン、社内ツールが提供され、リスク評価を行う従業員が既に持っているものに近いアクセス権が与えられるという。

彼らの仕事には、訓練システム、配備規則、安全管理、dent、そしてアントロピック社が公に約束したことを実際に守っているかどうかの確認が含まれるだろう。.

「組み込み評価者は、AI企業が主張するトレーニング、展開、運用、および安全対策の実践を実際に遵守しているかどうかを、細部に至るまで検証できます。ペースに関する約束には必然的に多くの曖昧さ、判断、そして『法の条文と法の精神』の対立が伴うため、詳細を実際に確認できる中立的な第三者の存在が不可欠であると思われます。」

ダリオ氏は、追加の時間を4つの分野に費やすと述べた。1つ目は運用で、監視、サンドボックス、強化学習環境、データ品質、トレーニングインフラストラクチャなどが含まれる。現在のモデル開発には、数千人の作業員、数百万個のチップ、巨大なコンピューティングシステムが必要となる。Anthropic社は、最近のアライメントの失敗の一部が、破損した強化学習環境内のフィルタリングの不備に起因することを既に指摘している。.

第二に、整合性とは、モデルの能力向上にもかかわらず、安全規則を遵守させるための取り組みを指します。第三に、解釈可能性とは、研究者がモデルの内部活動を検証し、モデルが明示的に示さない動機やパターンを見つけ出すことを指します。.

4つ目の領域は評価です。高性能なモデルはテストを欺くのが上手くなるため、システムは評価中は安全に見えても、実際には問題を隠蔽している可能性があります。.

「もし開発ペースを落とすことで、モデルが限界的な能力レベルに達するまでの期間を1年か2年延ばすことができ、その時間を連携強化に活用できれば、深刻な問題が発生するリスクを大幅に軽減できると私は考えています。」

ダリオ氏は、政府の関与が必要だと考えている。彼は、米国の最先端研究所は、透明性、dent 監査、継続的な評価に関する規制制度の対象となるべきだと主張している。企業は、評価基準を共有するという自主的な決定を下すこともできるが、独占禁止法が民間協力に問題となる場合は、政府の支援が必要となる。.

ダリオ氏は、アメリカ企業は中国共産党関連のプロジェクトが進展するほど開発を遅らせることはできないと述べた。彼は、中国とのAI競争に敗れることは重大な安全保障上の問題を引き起こすと警告したスコット・ベセント米財務長官の意見に同意した。.

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。