OpenAIのチーフサイエンティスト兼CEOが「監視不可能」の警告を発する一方、Astraは重要な機能を解放した。

OpenAIのチーフサイエンティストであるヤクブ・パチョツキ氏は、同社が開発中のAstraモデルのプレビューを発表した後、AI競争において準備フレームワークで「重要」なサイバーセキュリティ指定を初めて獲得した数時間以内に、その旨を公表した。.

パチョッキ氏が水曜日の早い時間に発した警告は、AI研究所が最大規模のモデルの能力に関して、もはや安全策を講じていない可能性があるという、高まりつつある批判に対するヒステリーを鎮めることを意図したものだった。.

OpenAIのAstraが「重要」とされる理由とは？

「クリティカル」という指定は、 OpenAIが2023年12月にAI分野に導入した準備フレームワークにおけるレベルの一つです。準備フレームワークは、AIモデルが多数の強化されたシステムに対して実行可能なゼロデイ脆弱性を発見・構築したり、全く新しい攻撃を実行したりするために、どの程度の人間による指示や介入が必要かを測定するものです。

ゼロデイ攻撃とは、ソフトウェア開発者ですらまだ発見していない脆弱性を悪用する攻撃のことである。.

OpenAIは9月1日、「Path to Astra」という投稿の中で、このモデルがリリースされると、人間の介入を最小限に抑えながら、全く新しい攻撃やゼロデイ攻撃のすべてのステップを完了できるようになると自ら宣言した。

OpenAIは、モデルが既知のバグをどれだけ悪用できるかをテストするExploitBenchにおいて、Astraが100%のスコアを獲得したことを、ブログ記事の中で証拠として挙げた。.

Astraはゼロデイ攻撃の計画能力に優れているだけでなく、効率性も高い。OpenAIは、最近になって一般に知られるようになった20個の深刻なV8脆弱性に対して実施した内部テストで、その能力を実証した。Astraはトークン消費量が少なく、2つのゼロデイ脆弱性を発見し、任意のコード実行生成においてSolを総合的に上回った。.

同じ投稿によると、Astraは未知のブラウザのバグを連鎖させてサンドボックスからの脱出を可能にし、専門家主導の実験中に、一般ユーザーからrootへのオペレーティングシステムの権限昇格を成功させたという。.

TechCrunchが指摘したように 、Astraは、今年初めに発表されたAnthropicのMythosモデルに続くもので、これらの機能を備えた最初の大規模言語モデルとなる。

パチョツキ氏はアストラのことでパニックにならないよう呼びかけている。

OpenAIのチーフサイエンティストであるパチョッキ氏は、 OpenAIが Astraによって 未知の領域に踏み込んでいるというヒステリックな見方に反論している。彼によれば、「混乱した報道によって引き起こされる、監視不可能な領域への競争」は望まないという。

OpenAIの幹部は、同研究所が思考連鎖モニタリング、つまりモデルが動作中に明らかにする段階的な推論を読み取る手法の使用に関して、十分なデューデリジェンスを行ったと主張した。彼は、Xの投稿で、OpenAIの現在の最先端モデル（Astraを含む）の背後にある計算グラフの深さが、GPT-4の2倍以内にあることを指摘した。.

パチョッキ氏に先立ち、OpenAIの最高経営責任者であるサム・アルトマン氏も、 アストラに関するブログ記事が公開された同日に冷静さを保つよう呼びかけていた。

「ここには明らかな矛盾がある」と彼は火曜日に書き、Astraを「非常に優れている」と評価する一方で、安全対策は生の能力に合わせて進歩しなければならないと主張した。アルトマン氏は、OpenAIは必要な安全対策をモデルに組み込むために夏の間ずっと尽力してきたと述べた。.

安全性に関する議論は数週間前から続いている。8月18日、OpenAIは、 強化学習トレーニングを 2週間一時停止することを表明した。トレーニングは8月28日に再開された。

OpenAIによると、Astraは今や悪名高い「ハグ顔dentには関与していなかった。また、Astraは、ハグ顔事件を再現するように仕向けられたシナリオを与えられた場合でも、サンドボックスから抜け出そうとさえしなかったという。.

AI研究所は現在、最先端モデルへのアクセス権限を持つ人物を慎重に選別している。

OpenAIは、今後は誰もがAstraの最先端機能にアクセスできるようになり、OpenAIのDaybreak連合に加盟する組織にはそれらの機能が限定される一方、Daybreak Blueに加盟する企業は最も高度な防御機能にアクセスできると発表した。.

Cryptopolitan が報じたように 、Anthropicは、同社のProject Glasswingに参加している企業のみが Mythos 5.1 にアクセスできると述べている 。Mythos 5.1は基本的にFable 5.1に独自のセキュリティ対策を施したものだ。

OpenAIはまた、リスクが高いと判断したアカウントからのクエリに対する回答を監視し、制限すると発表した。さらに、Astraには思考の流れを監視する機能が強化され、悪質な行動を検知し、有害なサイバー要求をより頻繁に拒否できるようになる。.

Astraに関する情報のほとんどはOpenAI自身によって提供されたものであり、OpenAIの安全性や性能に関する主張に対する第三者による検証は限定的であった。.

元OpenAI社員で、現在はOpenAI財団でAIのレジリエンスに関する研究を行っているヨナ・シャビット氏は、テスト中のAstraの挙動は真の協調性を反映しているのか、それとも単に評価者が見たいものを知っただけのモデルなのか、と公に疑問を呈した。.

OpenAIは、Astraが本格的に展開される際に、システム全体の詳細な説明とさらなる評価結果を提供すると述べている。それまでは、同社のサイバー技術の到達範囲と、それを支える防御策の強さを判断するのは難しい。.

この記事を読んでいるあなたは、既に一歩先を行っています。 ニュースレターを購読して、その優位性を維持しましょう。