
要點
能夠記憶並理解更長對話的推理模型,有望在明年提升對 AI 芯片的需求。
英偉達計劃於明年推出新的 Rubin CPX,專爲超大上下文處理而設計,可處理百萬 Token 級的軟件編碼。
Rubin CPX 使用 GDDR7 內存,使其總體擁有成本比使用高帶寬內存(HBM)的競爭產品低三倍。
花旗(Citi)的分析師表示,能夠記憶和理解更長對話內容的推理模型崛起,可能在明年推高對人工智能芯片和存儲芯片的需求。憑藉即將推出的新產品,英偉達看起來特別有望從中受益。
上週,亞馬遜(AMZN)雲服務(AWS)宣佈了其 AI 代理平臺的“情節式功能”(episodic functionality),允許系統“從過去的經驗中學習,並將這些洞察應用於未來互動”,從而提升工具的決策能力。花旗分析師 Atif Malik 在週一的報告中表示,這項更新體現出“記憶是代理智能的關鍵要素”。
Malik 表示,爲了讓 AI 代理真正對客戶有價值,其記憶能力必須超越短期和長期記憶,能夠“理解當前互動的語境”。
11 月,谷歌也公佈了一種新的方法,用於改善大型語言模型在持續學習方面的能力,靈感源自人類學習與記憶信息的方式。谷歌使用“嵌套學習”(Nested Learning)的理念來打造 Hope 模型,該模型在“推理、語言建模和記憶管理”等方面優於其他先進模型,Malik 指出。
推理模型需要更大的上下文窗口,以便理解並維持相關對話,Malik 表示,這正是英偉達(NVDA)在 9 月預告的新圖形處理器(GPU)所要解決的問題。
Malik 表示,Rubin CPX 有望在明年年底隨着 Vera Rubin 平臺一起發佈,是專爲“以最低成本處理超大上下文 Token”而打造的,用於 AI 推理(運行模型)。Token 是 AI 模型處理的數據片段,開發者按輸入和輸出的 Token 數量收費。
Malik 表示,全新的 Rubin 芯片“讓 AI 系統能夠以突破性的速度和效率處理百萬 Token 的軟件編碼和生成式視頻”,並可與英偉達的 Vera CPU 及 Rubin GPU 協同工作。這意味着轉向 Rubin 平臺的公司能夠“以前所未有的規模將其投資變現”。
他建模估算:客戶每投資 1 億美元,可從 Token 收入中獲得 50 倍回報,即 50 億美元。
Rubin CPX 的另一個優勢是它採用 GDDR7 內存,比谷歌 TPU 和亞馬遜 Trainium 芯片使用的高帶寬內存(HBM)成本更低。Malik 表示,他預計 Rubin CPX 將在明年“讓其他 AI 處理器倍感壓力”,因爲採用 GDDR7 可使其總體擁有成本比 HBM 方案低三倍。
花旗給予英偉達股票“買入”評級,並設定目標價 270 美元。