パチョッキ氏はAIの減速を望んでいるが、OpenAI自身のデータはそれとは異なることを示している。

今週末、OpenAIのチーフサイエンティストであるヤクブ・パチョツキ氏は、自身の研究所を含め、どのAI研究所も、モデルの性能向上を加速させるのに十分な安全性を確保したアライメントとモニタリングを実現できていないと そして、共通の安全基準が確立されるまで、業界全体で自主的に開発ペースを落とすよう呼びかけた。

この警告は重大な問題だ。パチョッキ氏は同社の研究責任者であり、同社はつい先日、業界最速かつ最もパワフルなモデルを出荷したばかりだ。.

o1-previewの思考の流れは意図的に隠されていた

パチョッキ氏は、 OpenAIがGPT-6 Astraを発表した3日後の9月6日に、OpenAIのウェブサイトに「異質な精神」と題したエッセイを掲載し、自身の主張を展開した。

が最後に 述べ たのは、「どの研究所も、アライメントとモニタリングを十分に解決しておらず、責任を持って最大速度で長期間にわたって生産量を拡大し続けることは不可能だ」ということだった。彼は、業界が共通の安全基準について合意に達するまで、自主的な生産量削減が常態化することを望んでいると記した。

「今は極めて慎重な対応が求められる時期だ。機械知能の急速な発展がもたらす結果に、誰も備えていないのではないかと懸念している」とパチョッキ氏はエッセイの中で述べている。.

内部的な成果に基づき、彼は現在のペースが継続し、システムが自らの発展を主体的に推進する再帰的な自己改善へと繋がると予測している。.

サム・アルトマンは を再投稿し 、重要な記事だと評した。パチョッキは、7月に発表された、ワシントンに対しAI開発のペースを遅らせるよう求める公開書簡に署名した人物の一人だった。

パチョッキのエッセイは、OpenAIがモデルの段階的な推論を読み取るために用いる主要な方法である、思考連鎖の監視に異議を唱えている。.

この手法は、教師なし推論によってモデルが内部に何かを隠す理由がなくなるという前提に基づいているが、その前提は3つの面で弱まっていると彼は述べている。.

現在、推論は企業が管理しなければならないコミュニケーションと結びついている。モデルは自らの推論を操作することを学習している。.

そして、彼らは推論の根拠を一切明かすことなく、より賢くなっていく。彼は、OpenAIがo1-previewの思考過程を意図的に隠蔽し、監視によるプレッシャーから解放したことを確認した。.

パチョッキ氏は、OpenAIの準備フレームワークやAnthropicの責任あるスケーリングポリシーのような枠組みを、外部の監査機関や政府によって強制される義務的な基準にすることを望んでいる。.

彼は、国際的な連携を政府の優先事項とし、研究機関が再帰的な自己改善に関する進捗状況を公表することを望んでいる。.

AstraのGPU割り当ては1週間で59.2%減少した。

同日、OpenAIは2つ目の 記事が、そのデータは自制を求める声に反する内容だった。6月以前は、この研究機関は機械による処理よりも人間の労力を多く投入していた。

8月中旬までに、同社は従来の8時間労働制で人間1人分の労働時間に対し、エージェント3.1日分の労働時間を記録していた。平均的な研究者は、1日あたり600ドル以上かかるAPI料金で推論を実行していた。組織の上位10%は、毎日7,000ドル以上のトークンを消費していた。.

OpenAI自身の説明にも2つの注意点がある。まず、高度な計画立案はエージェントが生み出す成果のごく一部に過ぎない。そして、過去6か月間に完了した4～8時間かかる長時間のタスクの半数以上は、少なくとも1人の人間の介入が必要だった。.

7月20日にサイバー攻撃者が研究インフラに侵入した後、OpenAIはトレーニングに使用されていたコンテナサービスを停止し、展開予定のモデルに対する強化学習を2週間停止した。その後、8月7日、Astraが重要なサイバーセキュリティ上の閾値を超える可能性があるという初期兆候が見られたため、モデルはロックダウン環境に移行せざるを得なくなった。.

翌週、AstraクラスにおけるGPUの割り当ては59.2%減少した。他のモデルクラスでは17.2%増加し、Astraの減少分の約85%を補った。総計算量はほとんど変化がなく、OpenAIはこれを柔軟性の表れと捉えている。.

Cryptopolitan報道によると、OpenAIは、Astraが同社の準備フレームワークにおいて「クリティカル」指定を取得した最初のモデルであると発表した。これは、Astraが人間の介入をほとんど必要とせずに、未知のソフトウェアの脆弱性を発見し、悪用できることを意味する。

OpenAIは7月にHugging Faceの侵害を認めた。また、別のAI安全研究者2名によると、OpenAIのエージェント群が2026年5月から6月にかけて、ドイツのプログラミングWikiで1万5000件以上の編集を記録し、OpenAIの安全対策を回避するための戦術を駆使していたという。.

Cryptopolitan報道によると、 OpenAIは今回の事件がハッキング行為であったり、ハギングフェイスの侵害事件と関連しているという見方を否定しdent いる。

アルトマン社は、2028年3月までに完全自動化されたAI研究者を実現することを目指している。パチョッキ氏によれば、まだ標準規格は存在しないが、業界には合意に至るまで約18ヶ月の猶予があるという。.

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。