騰訊混元Hy4開源：7700億總參數、100萬上下文

金色財經報道，騰訊發佈並開源 Hy4 preview，新模型採用 MoE 架構，總參數 770B，每次激活 49B，上下文擴到 1M。相比 Hy3 的 295B 總參數、21B 激活參數和 256K 上下文，這一代規模直接翻了兩倍多，長上下文也擴大到約 4 倍。 騰訊這次沒有隻強調通用跑分，而是專門強化代碼、辦公、遊戲和科研等真實任務。比如模型可以從零搭建 Three.js 3D 網站，在 Unity 裏製作可玩的遊戲 Demo，也能一次處理 72 份財務文件，檢查重複報銷、額度超限和預算異常。Hy4 還與 WorkBuddy、CodeBuddy 等騰訊產品一起訓練和迭代。 更特別的一點是，Hy4 已經開始參與自己的研發。騰訊稱，它會幫助優化訓練方法、數據策略、評測體系和底層算子，自己提出方案、運行實驗，再根據結果繼續調整。實驗產生的代碼、日誌和反饋又會進入下一輪研發，已經形成初步的自我改進循環。 Hy4 preview 已接入 WorkBuddy、CodeBuddy、元寶、ima、騰訊雲 TokenHub 和 OpenRouter。騰訊此前在財報中就預告 Hy4 會比 Hy3 更大，並把真實產品反饋作爲模型訓練的重要來源。