金融時報：字節10萬億參數模型已開訓，規模逼近Anthropic Mythos5

金色財經報道，8月7日消息，英國《金融時報》援引三名知情人士稱，字節跳動已經開始預訓練一款最高10萬億參數的大模型。項目仍處於早期階段，最終規模尚未確定。如果按上限訓練，它將達到KimiK3的三倍以上，成爲目前已知中國團隊中參數規模最大的模型。字節這次直接把模型尺寸推到了Anthropic旗艦附近。Anthropic從未公佈Mythos5的參數量，但《金融時報》援引行業估算稱，Mythos5約爲8萬億參數，Fable5約爲5萬億。字節新模型若做到10萬億，至少在參數規模上已經進入美國最前沿閉源模型的同一量級。這款模型目前還在預訓練（用海量數據訓練模型的基礎能力）。 《金融時報》稱，這一階段通常需要3至6個月，之後還要繼續後訓練，順利纔會發佈。參數更多也不等於能力一定更強，最終表現還取決於架構、訓練數據和訓練方法。張一鳴近期在Seed內部明確反對蒸餾競爭對手模型，要求團隊接受短期落後，靠自研衝擊世界第一梯隊。這款最高10萬億參數的新模型，是字節目前最激進的一次規模下注。