阿里QwenGyre將2.4T模型強化學習耗時縮短44%

金色財經報道，阿里巴巴千問團隊提出 QwenGyre，這是一套專門面向超長任務的 AI Agent 強化學習框架。 隨着 Agent 開始承擔完整的軟件工程任務，一次執行可能持續數小時，涉及數百輪模型調用和工具操作。模型需要從這些任務的實際結果中學習，但傳統訓練系統容易陷入漫長等待和重複計算。 首先是 GPU 利用率問題。傳統同步訓練必須等一批 Agent 全部完成任務，才能集中更新模型。不同任務耗時相差很大，先結束的任務會讓部分 GPU 長時間閒置。異步訓練雖然將任務執行和模型訓練分開，卻固定了兩者的 GPU 配額，難以靈活調配。 QwenGyre 允許 GPU 根據任務進度動態切換用途。隨着任務陸續結束，系統將部分 GPU 轉入模型訓練，剩餘 GPU 繼續支持尚未完成的 Agent。整個過程無需中斷任務，工作區和工具狀態也能保留。新加入的 GPU 還可以直接參與當前批次的訓練。 另一個問題是訓練數據冗餘。Agent 反覆重試、壓縮歷史記錄或調用子 Agent，會留下大量相互重疊的執行路徑。QwenGyre 記錄每次模型調用的真實輸入和輸出，將不同路徑整理成共享歷史的軌跡樹。訓練時只選取有限的路徑，同一段模型輸出不重複計算。即使任務超時，已經完成且能夠檢驗的部分成果仍可用於訓練。 團隊在 Qwen3.8-2.4T 上進行了驗證，單次任務累計處理約 70 萬 Token。相同 GPU 預算下，完成 48 步強化學習，QwenGyre 耗時 75.42 小時，傳統異步方案需要 134.55 小時，訓練時間縮短約 44%。訓練後，模型在代碼倉庫生成測試 NL2RepoBench 上的通過率從 52.48% 提升至 58.54%。論文同時顯示，QwenGyre 與傳統訓練方案取得的訓練分數接近。