WAIC觀察：AI芯片不再只拼算力，進入系統級協同時代

過去逛AI芯片展臺，人們通常先看一張卡，再看旁邊標註的算力、帶寬和功耗。

在今年的WAIC上，最顯眼的卻是一排排機櫃，華爲Atlas 950、阿里真武M890、中科曙光十萬卡集羣等方案集中亮相，沐曦、壁仞等國產GPU廠商展示的內容，也從單顆芯片延伸到了內存、網卡、互聯和軟件系統。

這背後是一個很實際的問題，模型越來越大，一張卡能夠承擔的工作有限，多張卡共同運行已經成爲常態，但芯片數量增加後，參數、緩存和計算結果也要在不同設備之間頻繁傳輸。內存裝不下，芯片之間傳得太慢，或者軟件無法合理分配任務，都可能讓一部分算力停在等待上。

Agent的出現又放大了這些問題。它不僅要生成答案，還要讀取文件、調用工具、保存上下文並持續執行任務。模型上線後的推理時間更長，消耗的Token更多，對內存容量、芯片互聯和系統調度的要求也隨之提高。

因此，今年WAIC上的AI芯片展臺，頻繁出現超節點、內存和互聯；它們分別解決什麼問題，又爲什麼會影響一顆芯片的實際表現？

01 互聯：超節點先要解決數據搬運

超節點聽起來複雜，解決的問題卻很直接——把幾十張甚至上百張AI芯片高速連接起來，共同完成一個模型的訓練或推理任務。

模型規模較小時，一張卡可以獨立完成不少工作；模型參數和上下文不斷增加後，單卡的算力和內存都可能不夠，只能把任務拆給多張卡。卡越多，協作也越複雜。

模型運行期間，參數、緩存和計算結果需要在不同芯片之間傳輸，如果把芯片看成處理任務的車輛，互聯就是它們之間的道路。道路擁堵，後面的芯片只能等數據，展板上寫着的峯值算力也很難全部用上。

奇異摩爾網絡架構VP葉棟將今年WAIC概括爲“超節點元年”。他認爲，行業競爭邏輯已經從單卡算力比拼轉向系統級協同優化，決定集羣真實效能的，不再是某一顆芯片的峯值算力，而是多層級高速互聯的協同效率；行業目光也從“誰的芯片最強”，轉向“誰的系統成本更低、效率更高”。

華爲Atlas 950、阿里真武M890、中科曙光十萬卡集羣等集中亮相，超節點也成爲不少國產GPU廠商展示產品時的重要組成部分。模型被拆到多張卡之後，參數、緩存和計算結果需要在不同設備之間頻繁傳輸，芯片之間如何連接，也會影響整套系統的運行效率。

沐曦在WAIC發佈的曦景S600，提供了一個更具體樣本，該產品可在單機櫃內部署64張GPU，通過OEX架構和兩級交換拓撲實現卡間高速互聯，並可橫向擴展至萬卡規模。

曦景S600還採用了計算節點0線纜、交換節點0線纜，以及計算節點與交換節點之間0線纜的“三0設計”。計算、交換、電源和液冷等模塊採用解耦設計，其中電源與液冷管路支持盲插熱插拔，以減少複雜佈線帶來的故障風險和後續維護成本。

奇異摩爾聯合創始人兼產品及解決方案副總裁祝俊東表示，當計算規模大到一定程度時，計算本身將不再是唯一瓶頸，大計算集羣會產生海量的數據搬運需求，屆時互聯將成爲瓶頸。

過去雲時代，大家注重的是數據管理；AI訓練時代，要的是高速通道；而現在的Agentic AI，要的是確定性傳輸。網絡不僅要傳得快，還要儘量減少延遲抖動，否則一段通信出現擁堵，等待數據的可能不只是一張卡。

因此，今年不少廠商也把網卡、交換設備和互聯方案帶到了展臺；幾十張、上百張芯片連在一起後，通信延遲和網絡擁堵都會拖慢整套系統。

02 取捨：爲Agent留出更大的“工位”

如果說超節點處理的是芯片之間如何協作，Agent帶來的問題還會進入芯片和內存內部。

Token是模型處理文字、代碼等內容時使用的基本單位。過去，人向聊天機器人提出問題，模型生成回答，一次交互通常不會持續太久；Agent接到任務後，還要拆分步驟、閱讀材料、調用工具、檢查結果，有時會連續工作數小時。

在無問芯穹AI基礎設施論壇上，曦望Sunrise董事長徐冰將這種變化概括爲“Token正在換主人”。過去的Token主要由人購買和閱讀，Agent出現後，越來越多Token產生於機器規劃和執行任務的過程，最後也未必會被人逐一看到。

曦望Sunrise董事長徐冰

任務運行得更久，模型需要留下的內容也更多，除了模型本身的參數，它還要保存上下文、工具返回的結果，以及生成過程中形成的KV Cache。

KV Cache可以理解爲模型暫時留下的一份工作記錄，有了它，模型繼續生成內容時，不必每次都從頭處理前面的全部信息。但任務越長、同時運行的Agent越多，這份記錄佔用的內存也越大。

徐冰將內存比作數字員工的工位。算力決定處理工作的速度，內存則決定桌面上能同時放下多少資料。如果空間不夠，系統就要頻繁搬動數據，芯片也會花更多時間等待。

這種負載變化影響了曦望第三代GPU啓望S3的設計，它沒有采用全HBM方案，而是選擇大容量LPDDR，同時裁掉了一部分主要服務訓練的模塊，把更多芯片面積留給推理中常用的計算。

HBM和LPDDR並不是簡單的先進與落後，HBM帶寬更高，適合訓練和需要快速搬運大量數據的任務；LPDDR帶寬相對較低，但容量更容易做大，成本也較低。對於長上下文和高併發Agent來說，能不能放進更多模型和緩存，有時會比繼續提高帶寬更早成爲問題。

類似的取捨也出現在計算精度上，S3支持從FP16到FP4的低精度推理；精度降低後，單次計算需要處理的數據更少，速度和能效可以提高，但也要控制模型效果的損失。芯片廠商需要根據具體任務，在精度、速度和成本之間做選擇。

一顆芯片的參數，也不能直接等同於實際推理效果。

大模型推理大致可以分爲Prefill和Decode兩個環節，Prefill負責讀取並處理用戶輸入，更依賴計算能力；Decode負責逐個生成Token，對內存帶寬和緩存更加敏感。不同芯片在兩個環節中的表現並不完全一致。

無問芯穹聯合創始人、CEO夏立雪在WAIC上介紹的跨集羣異構PD分離架構，會讓不同特點的集羣分別承擔Prefill和Decode，再通過網絡傳輸KV Cache。按照無問芯穹公佈的測試數據，這套架構將首Token延遲降低51.5%，單Token成本降低37.5%。

無問芯穹聯合創始人、CEO夏立雪

這些數據屬於企業測試口徑，但背後的問題不難理解，同一塊硬件被放在哪個環節、與什麼內存和網絡配合，也會影響最後的速度和成本。

Agent看起來是一種軟件產品，卻把需求一路傳到了硬件層。任務運行時間變長後，芯片裏的計算單元怎麼安排、使用哪種內存、緩存如何保存、數據怎麼傳輸，都要重新算一遍。

03 生態：參數表外的適配成本

芯片、內存和網卡安裝完成後，一套AI設備還不能直接投入使用，模型要跑在芯片上，中間還需要驅動、編譯器、算子庫、通信庫和推理框架。

算子可以理解爲模型中的具體計算動作，矩陣乘法、注意力機制等工作，都要轉化成芯片能夠執行的程序。如果某個算子缺失，模型可能無法運行；即便能夠運行，沒有經過針對性優化，芯片也未必能發揮出應有的性能。

多張芯片同時工作時，還要處理卡間通信和任務調度；一張卡出現故障，系統能否及時發現並恢復；軟件版本更新後，原來的模型是否仍然兼容；這些都會影響客戶是否願意長期使用。

一位業內人士此前提到，英偉達的優勢並不只在GPU本身，圍繞CUDA建立的軟件工具和開發生態同樣難以替代。CUDA之上已經形成了覆蓋深度學習、數學計算、通信、推理和性能分析的工具體系，許多主流框架和模型也優先完成了適配。企業使用英偉達GPU時，通常可以沿用已有的代碼、工具和工程經驗。

換用另一種芯片後，驅動、算子、框架和通信庫都可能需要重新適配，工程團隊也要熟悉新的開發環境。這部分投入不會出現在芯片報價裏，卻會增加遷移所需的時間和人力。

沐曦在曦景S600中配套了MXMACA軟件棧，覆蓋GPU驅動、集羣管理、資源調度和AI開發環境，並通過開源社區推進主流框架、模型和算子的適配。據沐曦披露，MXMACA自2025年2月開源以來，社區已匯聚超過50萬名開發者用戶。

奇異摩爾網絡架構VP葉棟認爲，國產AI芯片正在從“有無之辨”進入“好用之爭”。早期的命題是“能不能造出來”，現在則變成“能不能在真實場景裏跑出競爭力”，考驗的不再只是芯片設計本身，而是從芯片到互聯、從軟件到生態的全棧整合能力。

今年WAIC上，國產廠商也在展示芯片之外的工作。奇異摩爾聯合壁仞科技展示了國產GPU直通國產RDMA網卡的IBGDA方案。奇異摩爾方面表示，該方案驗證了“國產芯+國產網”的底層互通能力，實測數據達到國際同等水平。

按照奇異摩爾的表述，這不僅是一次技術驗證，也在傳遞一種開放思路：互聯不應成爲綁定工具，而應成爲賦能全行業的通用底座。對於國產算力生態而言，不同廠商的GPU、網卡和軟件能否相互配合，會直接影響客戶的遷移和使用成本。

無問芯穹目前接入了16種主流芯片，通過異構調度、推理框架和算子優化，處理不同硬件之間的差異。夏立雪介紹的算子生成智能體KernelMind，會經過代碼生成、編譯測試和性能評估，調整模型在不同芯片上的運行方式。

這類工作很少出現在芯片參數表裏，卻會影響芯片真正投入使用後的表現。國產AI芯片路線較多，如果每增加一種芯片，客戶都要重新完成一遍模型和算子適配，硬件價格上的優勢很容易被後續工程投入抵消。

曦望在設計S3時，也希望用同一顆芯片覆蓋PCIe卡、OAM模組和不同規模的超節點。底層硬件保持一致，軟件棧、模型適配和運維經驗才更容易複用；對一家新的GPU企業來說，減少不必要的產品分支，也是在降低後續的軟件維護成本。

今年WAIC上的一排排機櫃，真正費時間的卻是機櫃之外的工作——補算子、調模型、改通信、處理兼容，芯片做出來之後，還有很長一段工程要走。