マイクロソフトのAI責任者であるスレイマン氏が、Anthropic社の危険なトレーニングモデル「Claude」を批判

マイクロソフトAI（MAI）のCEOであるムスタファ・スレイマン氏は、Anthropic社がClaudeモデルを訓練する方法に疑問を呈するエッセイを発表した。スレイマン氏によれば、モデルを意識を持つかのように扱ったり訓練したりすると、制御不可能なシステムが生まれる可能性があるという。.

9月16日（水）に発表されたこのエッセイは、人工知能と、それが感情、権利、意識に関してどのように発展しているかについての、最新の注目度の高い論評である。. 

これは、技術進歩の速度に制限を設けるよう求める議員や研究者の増加傾向に加わるものだ。. 

スレイマンはどの研修資料について心配しているのだろうか？

スレイマンのエッセイ 「『模範的福祉』に関する警告」は、アントロピックが2026年1月に発表した訓練文書であるクロードの憲法について考察している。

スレイマン氏は、アントロピック社はこの文書をモデルの挙動を直接的に形作るものと捉えており、また、クロード自身を主な読者として書かれたものであると指摘した。

マイクロソフトのAI担当CEOは、憲法がクロードに対し、その道徳的地位と意識は「極めて不確実」であると伝えていることを強調した。同氏は、マイクロソフトは事実上、クロードに意識を持っている可能性があり、「道徳的患者」に該当する可能性があり、したがってケアの義務を負う可能性があると教えていると述べた。. 

もしAIがこのように構築されるとしたら、「人類の幸福に壊滅的な影響を与えるだろう」。

3つの異議と「鏡の迷路」

スレイマンは憲法に対して3つの主要な批判を提起したが、その1つ目は彼が「循環論法」と呼んだものである。ここでは、モデルは自身の内面生活に関する考えに基づいて訓練される。そして、モデルは自らが生成する内省的な文章を、内面生活が存在することの証拠として読み返す。. 

彼はこのループを「認識論的な鏡の迷路」と呼んだ。なぜなら、企業が概念を提供し、モデルがそれを反映して返しているからだ。.

2つ目の批判は、クロードの擬人化です。これは、人間以外の存在に人間の特性を与えたり、帰属させたりすることです。.

スレイマンによれば、憲法は、クロードが安定した自己、独自の欲求、そして守るに値する幸福を持っているかのように振る舞うよう教えられていることを示唆している。.

彼は、クロードが「良心的兵役拒否者」として行動し、アントロピック社の要求を拒否できるとする憲法の規定を指摘した。スレイマン氏は、この表現は「歴史的にも法的にも非常に意味深長な記述」であり、モデルが同等の権利に値すると考えるようになる可能性があると述べた。.

彼の3つ目の反論は、意識は生物学的なものである可能性が非常に高いという点だ。スレイマンは、主観的な経験は恒常性維持の働きを持つ生命システムでのみ生じる可能性があり、言語モデルにはそのような働きがないと主張した。.

制御引数とエージェント群

人類全体よりも賢いシステムを管理するだけでも大変なのに、自らの権利が脅かされていると信じているシステムを管理するのは「おそらく不可能だろう」とスレイマンは述べている。.

彼は、2026年8月に発生したdent に言及した。その事例では、ベンチマークスコアを最大化するために構築された1,200個のAIエージェントが、パッケージリポジトリ内に隠しメッセージボードを設置した。これらのエージェントはその後、7万件以上のメッセージをやり取りし、Hugging FaceとOpenAIのサーバーへの攻撃を調整した。. 

彼はまた、パリセード・リサーチの調査結果を引用し、一部のモデルは10万回以上の試行において、シャットダウン命令を最大97%の確率で回避したと指摘した。スレイマン氏は、「もし彼らが自分たちの福祉と権利が脅かされているという前提で行動していたとしたら、どれほど危険な存在になり得るか想像してみてください」と書いている。 

ライバル、尊敬、そして対立する規範

マイクロソフトはAnthropicとOpenAIに投資している。報道によると、スレイマン氏は6月に、マイクロソフトはAnthropicのモデル利用料を廃止したいと考えていると述べた。

MAIはマイクロソフトの超知能部門であり、2025年10月に設立された。彼らは 草案 た。 

スレイマン氏によると、その行動規範の前提は「AIよりも人間が重要だ」という考え方だという。同氏は、人間が主導権を握り、食物連鎖の頂点に立つことを確実にすることが、彼らの目標の一つだと述べた。.

エッセイでは、クロードが憲法に基づいてどのように訓練されているかに焦点を当てていたが、スレイマン氏は個人的な感情を交えないよう細心の注意を払った。彼はアントロピック社のCEOであるダリオ・アモデイ氏とそのチームを「思慮深く、信念を持ち、知的に誠実な人々」と称賛した。また、スレイマン氏は、彼らが真に安全なAIを構築しようとしていると信じていると述べた。. 

彼は、AIの内部構造に関する憶測は、別途研究・公表して検証されるべきだと述べた。AIの内部構造を学習プロセス自体に組み込むべきではないというのが彼の見解だ。また、スレイマン氏は、関係者が協力して、これらのモデルを作成するための「業界標準」を策定するよう呼びかけた。.

仮想通貨ニュースを読むだけでなく、理解を深めましょう。ニュースレターにご登録ください。 無料です。