金融时报：字节10万亿参数模型已开训，规模逼近Anthropic Mythos5

金色财经报道，8月7日消息，英国《金融时报》援引三名知情人士称，字节跳动已经开始预训练一款最高10万亿参数的大模型。项目仍处于早期阶段，最终规模尚未确定。如果按上限训练，它将达到KimiK3的三倍以上，成为目前已知中国团队中参数规模最大的模型。字节这次直接把模型尺寸推到了Anthropic旗舰附近。Anthropic从未公布Mythos5的参数量，但《金融时报》援引行业估算称，Mythos5约为8万亿参数，Fable5约为5万亿。字节新模型若做到10万亿，至少在参数规模上已经进入美国最前沿闭源模型的同一量级。这款模型目前还在预训练（用海量数据训练模型的基础能力）。 《金融时报》称，这一阶段通常需要3至6个月，之后还要继续后训练，顺利才会发布。参数更多也不等于能力一定更强，最终表现还取决于架构、训练数据和训练方法。张一鸣近期在Seed内部明确反对蒸馏竞争对手模型，要求团队接受短期落后，靠自研冲击世界第一梯队。这款最高10万亿参数的新模型，是字节目前最激进的一次规模下注。