字节跳动训练10万亿参数AI模型,规模超Mythos5引关注

近日,科技界迎来一项重大突破:字节跳动正在开发一款参数量高达10万亿的AI大模型。这一数字不仅刷新了国内AI模型的参数上限,更直接挑战了当前全球领先的AI系统之一——美国Anthropic公司的Myt...

人工智能

近日,科技界迎来一项重大突破:字节跳动正在开发一款参数量高达10万亿的AI大模型。这一数字不仅刷新了国内AI模型的参数上限,更直接挑战了当前全球领先的AI系统之一——美国Anthropic公司的Mythos 5(约8万亿参数)。

根据英国《金融时报》援引知情人士的消息,这款尚未命名的模型正处于预训练阶段,预计需要3至6个月才能完成初步训练。如果后续微调顺利,该模型有望在不久后正式发布。值得注意的是,即便此前报道显示参数量为“超5万亿”,但最新披露的10万亿版本,依然让这款模型在规模上超越了目前中国最大的AI模型Kimi K3(2.8万亿参数),并接近国际顶级水平。

从参数规模来看,字节跳动此次的研发投入堪称豪赌。当前全球AI模型的参数量普遍集中在数万亿级别,而10万亿这一数字几乎达到了现有硬件和算法能力的极限。例如,DeepSeek的V4-Pro模型拥有1.6万亿参数,美团的LongCat-2.0同样为1.6万亿,月之暗面的Kimi K3则达到2.8万亿。相比之下,字节跳动的新模型在参数数量上几乎是这些国内领先模型的3到6倍。

这项研发背后,是字节跳动创始人张一鸣罕见拍板决定的战略选择。据内部人士透露,张一鸣坚持不走“蒸馏”(模型压缩)路线,而是选择直接冲击最大规模的AI模型。这种“不跟风”的决策,显示出字节跳动在AI领域的雄心壮志——不仅要追赶,更要超越。

对于中国AI产业而言,字节跳动的这一动作具有深远意义。近年来,随着OpenAI、Anthropic等国际巨头不断推出新一代AI模型,中国公司在参数规模和技术能力上逐渐拉近了与国际顶尖水平的差距。然而,真正实现“弯道超车”仍需突破性进展。字节跳动此次以10万亿参数为目标的AI模型,正是这种突破性尝试的代表作。

从技术角度看,如此大规模的模型训练面临多重挑战。首先,硬件资源需求极为庞大,需要数十甚至上百块高端GPU协同工作;其次,数据处理和算法优化难度极高,稍有不慎就可能导致训练失败或性能下降;最后,模型的微调和实际应用也需要大量时间和资源投入。

尽管如此,字节跳动依然选择迎难而上。这不仅体现了其在AI领域的技术积累和创新能力,也反映了中国科技企业在国际竞争中的决心。如果这款10万亿参数的模型能够成功落地,它将为中国AI产业树立新的标杆,并可能重新定义全球AI模型的参数标准。

展望未来,字节跳动的这一AI模型能否如期发布并取得预期效果,仍需时间验证。但可以肯定的是,无论结果如何,这次尝试都将推动中国AI技术的发展,并为全球AI领域带来新的思考和启发。

图片