【首席視野】沈建光:全球“詞元短缺”如何解?
沈建光系京東集團首席經濟學家,中國首席經濟學家論壇理事
導讀
今年以來,全球人工智能領域悄然出現一個新瓶頸——“詞元短缺”。從Anthropic調整使用條款、亞馬遜坦言產能受限,到OpenAI暫停Sora等項目集中資源,頂尖模型廠商紛紛實施調用限制。這一現象本質上是算力供需矛盾的直接體現。隨着人工智能從輔助工具向任務代理演進,以及推理時擴展和商業化應用的爆發,詞元消耗量急劇攀升。詞元短缺不僅考驗着科技巨頭的資源調配能力,更成爲智能時代全球算力格局深度調整的重要縮影。
文|沈建光
首發於人民日報(5月25日)
今年以來,全球人工智能領域出現了一個新挑戰——“詞元短缺”。多家國際頂尖模型廠商與科技巨頭對人工智能服務實施了不同程度的限量供應與調用限制。例如,Claude模型的開發者美國Anthropic公司調整了使用條款,以遏制高峰時段的過量使用;亞馬遜公司表示,“產能限制”已拖累其增長步伐;OpenAI公司甚至暫停或放緩了類似視頻應用Sora等非核心項目的資源投入,將寶貴的算力集中於可產生直接營收的業務板塊。
所謂詞元,通俗來講,就是大模型處理信息的最小單元。就像我們的閱讀以字爲單位一樣,人工智能在處理文字、圖片或代碼時,會將信息拆解爲一個個可計算的最小單位。大模型每處理一個詞元,都要消耗相應的計算資源。因此,詞元短缺本質上是算力短缺的一種具象表達,它直觀反映了智能時代算力資源的使用成本與供需矛盾。
當前,全球部分國家和地區出現的算力緊張局面,一方面與芯片製造、電力供應等物理層面的瓶頸有關,更關鍵的原因在於,人工智能需求的爆發式增長超出了現有供給的承載能力。全球人工智能模型聚合平臺OpenRouter公司的數據顯示,今年第一季度,每週詞元消耗量翻了兩番。這種需求的快速上升,主要源於人工智能應用範式的深刻轉變。
一是人工智能正從“輔助工具”向“任務代理”跨越。過去,人工智能主要用於聊天問答、內容生成等簡單場景。如今,一些新型人工智能代理已能直接操作電腦,完成代碼編寫、文件整理、跨軟件協作等複雜任務。這種從“動嘴”到“動手”的轉變,使得單次任務的算力消耗大幅增加,部分複雜任務甚至可提升數個數量級。
二是頂尖供應商堅持“以算力換智力”。爲了提升人工智能完成任務的可靠性與準確性,全球頂尖模型廣泛採用“推理時擴展”技術。模型在回答前,會像人類一樣在後臺進行多輪分析、推演和檢查。例如,在處理“調研某行業並撰寫報告”這一任務時,人工智能需要自主打開網頁、讀取財報、調用分析工具,單任務可持續運行數小時,詞元消耗量可達數百萬級別。
三是商業化應用突破關鍵臨界點。隨着高性能模型在穩定性、準確性上實現質的突破,人工智能開始在金融、醫療、企業核心業務等場景中創造實際收益。企業大規模調用模型的意願顯著增強,算力需求正從“技術嚐鮮”轉向“業務剛需”。
面對詞元短缺帶來的挑戰,全球科技企業正在積極探索應對之策。短期來看,優化資源配置是破局的關鍵。一個普遍的做法是通過算法優化來降低任務對高端算力的依賴。比如,OpenAI和Anthropic等公司的編程代理已經能夠對輸入信息進行“上下文壓縮”,先處理摘要信息,必要時再查詢原始資料,以節約算力。中國企業在推理效率提升方面也取得明顯進展。一些國際平臺統計顯示,中國人工智能模型周度的全球調用量一度超過海外模型,這是中國模型憑藉較高性價比和算力使用效率,承擔大量高頻、通用型任務的體現。這也證明,通過技術創新提升單位算力的產出效率,是緩解算力焦慮的有效途徑。
長期來看,擴充產能與推進技術替代同樣重要。當前,全球科技企業正在加快建設數據中心,擴大高端芯片採購規模。同時,爲降低對單一供應鏈的依賴,一些企業也在積極探索替代路線。例如,谷歌提出強化自研TPU芯片體系,試圖通過軟硬一體化的定製芯片來降低成本、穩固供應。此外,邊緣計算、更高效的模型架構(如混合專家模型)以及新型存儲與互聯技術,也在逐步走向成熟,有望從不同維度緩解集中的算力壓力。
詞元短缺現象,是全球算力格局深度調整的一個縮影。在智能時代,算力已成爲類似水、電一樣的基礎性戰略資源。唯有兼顧短期優化與長期佈局,統籌技術迭代與產能建設,才能推動人工智能產業平穩有序發展,在激烈的國際科技競爭中贏得主動。









