KimiK3训练团队揭秘,401位极客撑起2100亿估值

7月27日,月之暗面(Moonshot AI)正式向全球开放了旗下大模型Kimi K3的全部技术底牌,包括2.8万亿参数的混合专家模型权重、技术报告以及支撑训练的关键基础设施代码。这一举动不仅让K3成...

人工智能

7月27日,月之暗面(Moonshot AI)正式向全球开放了旗下大模型Kimi K3的全部技术底牌,包括2.8万亿参数的混合专家模型权重、技术报告以及支撑训练的关键基础设施代码。这一举动不仅让K3成为首个完全开源的超大规模语言模型,更首次公开披露了其背后庞大的贡献者团队。

根据官方技术报告,Kimi K3拥有2.8万亿参数,是K2.5的3倍规模,支持1M超长上下文,并具备原生视觉理解能力。其核心技术创新包括Kimi Delta Attention、Attention Residuals和MoonEP等,使得规模化效率提升2.5倍。更重要的是,月之暗面同步开放了支撑K3训练的三项关键基础设施:面向超大规模细粒度MoE的专家并行通信系统MoonEP、高性能算子FlashKDA,以及为大规模Agent后训练提供高保真沙箱环境的AgentEnv。

这次全面开源的背景颇为微妙。就在K3发布前一天,英伟达创始人黄仁勋首次在推特上发声,联署一封呼吁开放AI模型权重的公开信。这封信获得了微软、Meta、Hugging Face等20多家科技巨头的支持,迫使OpenAI也公开表态支持开源。而月之暗面选择在此时开放K3,被业内视为对这场开源与监管争论的直接回应。

"我们相信,开源是推动AI技术普及的最佳方式。"月之暗面联合创始人杨植麟表示,"但我们也意识到,开源需要建立在坚实的技术基础之上。"

这支支撑K3开发的核心团队堪称豪华。根据官方统计,共有401位贡献者参与了K3的研发工作,其中不乏来自旷视、阶跃星辰等知名企业的顶尖算法专家。例如,作为算法团队负责人的周昕宇,曾主导开发轻量化网络ShuffleNet,并在Reddit社区率先拆解了K3采用的KDA混合架构优势。

图片

团队成员的平均年龄不到30岁,80%为I人(内向型),这种极度年轻的团队结构,使得每位成员都能扛起约7亿人民币的估值。月之暗面的组织形式十分独特,五个创始人平均每人直接对接40-50名员工,内部推行无职级、无KPI、无部门墙的管理模式。这种不拘一格的管理风格,甚至体现在会议室命名上——Rolling Stones、Nirvana、Radiohead等摇滚乐队名称随处可见。

"我们的团队就像一个摇滚乐队,每个人都在寻找自己的声音。"杨植麟在接受采访时表示,"但最终,这些声音汇聚成了K3这首交响曲。"

值得注意的是,月之暗面在招聘过程中非常青睐具有创业者背景的人才。据内部统计,公司至少有50名员工创办或加入过创业公司,过去一年通过内部推荐入职的新员工超过100人。

此次K3的全面开源,不仅展示了月之暗面在AI技术领域的深厚积累,更标志着国产大模型在全球竞争格局中迈出了重要一步。随着K3技术的开放,预计将在全球范围内引发新一轮的AI技术应用热潮。