完全に合成データで訓練された中国のAIモデルは、Nvidia H20およびH200チップで動作します。

清華大学とマイクロソフトアジア研究所は、偽データのみを用いて完全なAIモデルを訓練しました。実世界のサンプルは一切使用していません。.

データセット全体はSynthSmithと呼ばれる新しいパイプラインを通じて人工的に生成され、システムは最初から最後までNvidiaのチップ上で動作しました。チームは単なる目新しいテストを成功させたわけではありません。70億のパラメータを持つ実用的なモデルを構築し、人間のデータで学習させたはるかに大規模なモデルを凌駕しました。.

1月11日にarXivに投稿された彼らの論文によると、彼らが訓練したX-Coderは、現実世界のテキストを一度も見たことがないにもかかわらず、140億のパラメータを持つコーディングモデルよりも優れたパフォーマンスを発揮したという。.

「詳細な分析により、合成データセットにおいてスケーリング則が成立することが明らかになった」と研究者らは記している。このチームには、清華大学、マイクロソフト・リサーチ・アジア、武漢大学の研究者が名を連ねている。.

研究者はNVIDIAチップを使用して現実世界のデータを完全にスキップする

トレーニング環境はNVIDIAのハードウェアに大きく依存していました。教師あり学習では、128個のNVIDIA H20チップを220時間連続で使用しました。その後、強化学習フェーズを処理するために、さらに7日間、32個のH200チップに切り替えました。これらはランダムに選択されたものではありません。H20は推論用に調整されており、H200はハイエンドのトレーニング用に構築されています。これらは、 NVIDIAが中国での販売開始に向けて懸命に働きかけたことを受けて、トランプ政権が輸出管理の例外を承認したおかげで、現在中国企業が利用できる最も強力なチップです。

研究者たちは、スケーリングに関してはパイプライン自体が問題ではなく、計算能力が問題だと述べた。.

筆頭著者で清華大学の修士dent の学生である Wu Jie 氏は、パイプラインを 1,000 億または 1,000 兆パラメータのモデルにまで拡張しなかった本当の理由は、単に「パイプライン自体の制限ではなく、計算上の制約」であると述べました。

コードを公開することで、他の人々が莫大なトレーニング費用を払うことなくプロジェクトを発展させることができると期待している。論文ではAIのトレンドについても指摘している。.

モデルはより長い時間枠で「考え」、複雑な推論を処理することが求められるようになり、トレーニングだけでなく推論中にもはるかに多くの計算が必要になりました。.

中国チームが古い製造技術を使ってより高速なチップを開発

これとは別に、中国の科学者たちは電気ではなく光の粒子を使って「ACCEL」と呼ばれる新しいチップを開発しました。このチップ（電子と光を組み合わせたオールアナログチップの略tronは実験室でテストされ、4.6 PFLOPSの性能を達成しました。

これはNVIDIAのA100の3,000倍の速度であり、この中国製チップは消費電力を400万分の1に抑えています。これにより、画像認識や自動運転といった特定のタスク向けに開発されたチップ

まだCPUやスマートフォンのチップに取って代わるものではないが、ウェアラブル、電気自動車、スマートファクトリーなどで活用できるとチームは考えている。.

このチップは、セミコンダクタ・マニュファクチャリング・インターナショナル社（SMC）が20年前のプロセスを用いて製造した。これにより、中国が未だに利用できない最先端のリソグラフィー装置を必要としなくなった。.

記事の中で、「フォトニックコンピューティングシステムの導入は、複雑な構造設計と、ノイズやシステムエラーに対する脆弱性のため、かつては課題となっていた」と述べている

このチップは、光子とアナログ電子tronを新しいフレームワークに統合することで、この問題を回避します。ファイル圧縮などの一般的なコンピューティングタスクは処理できませんが、AIビジョンや低照度センシングには最適です。.

驚くべき事実が一つあります。現代のチップを1時間動作させるのに必要なエネルギーは、ACCELを500年間稼働させられるほどです。この低消費電力により、チップの小型化を制限する熱問題への対処も容易になります。.

このチップの機能には、交通dent、低照度画像撮影、そして周囲の光を直接センシングプロセスに利用するリアルタイムビジョンなどが含まれます。開発チームによると、これは汎用チップではありませんが、非常に特殊なニーズを満たすものです。.

資金は、国家重点研究開発計画と中国国家自然科学基金から提供されました。研究者の一人が共同設立した北京のチップメーカーMakeSensもこの研究に関わっており、最近、低消費電力アナログチップも発売しました。.

プロジェクトのリーダーの一人である清華大学の戴瓊海氏は、新しいコンピューティングアーキテクチャの構築は単なる第一歩に過ぎないと語った。.

「より重要な課題は、この新しいアーキテクチャを実際のアプリケーションに導入し、主要な国家および公共のニーズを解決することであり、それが私たちの責任です。」

チームはこのチップがいつ市場に出るかについては何も語っていない。.

あなたのプロジェクトを暗号通貨業界のトップに紹介したいですか？データと影響力が融合する、次の業界レポートで特集しましょう。