月之暗面开源2.8万亿参数KimiK3模型,长程编码与视觉理解能力再升级
在人工智能领域,大型语言模型的参数规模已成为衡量技术实力的重要指标。近日,月之暗面(Moonshot AI)宣布开源其最新研发的Kimi K3模型,标志着开源模型在参数规模和技术能力上再次取得突破。 ...
在人工智能领域,大型语言模型的参数规模已成为衡量技术实力的重要指标。近日,月之暗面(Moonshot AI)宣布开源其最新研发的Kimi K3模型,标志着开源模型在参数规模和技术能力上再次取得突破。
Kimi K3是一款拥有2.8万亿参数的混合专家(MoE)模型,其核心技术创新主要体现在以下几个方面:首先,该模型采用了KDA混合线性注意力机制和注意力残差技术,显著提升了长程文本处理能力;其次,通过引入Stable LatentMoE框架,Kimi K3能够在896个专家中高效激活16个,相比前代模型扩展效率提升约2.5倍;此外,Kimi K3还具备原生视觉理解能力,支持100万token的超长上下文窗口。
在技术架构层面,月之暗面开源了支撑Kimi K3训练的关键基础设施:MoonEP(高性能通信)、FlashKDA(高性能算子)和AgentEnv(分布式强化学习环境)。其中,FlashKDA此前已开源,而MoonEP和AgentEnv则随本次发布首次公开。这些基础设施的开源,为开发者提供了完整的模型训练和部署解决方案。
尽管Kimi K3在整体性能上仍略逊于Claude Fable 5和GPT-5.6 Sol等顶尖闭源模型,但在多个评测基准中,Kimi K3展现出前沿水平的能力,特别是在长程编码、代码库理解和视觉-工程协同等任务上表现优异。官方数据显示,Kimi K3在极少人工监督的情况下,能够持续完成长时间工程任务,理解和处理大型代码库,并协调使用终端工具。
月之暗面表示,Kimi K3的成功开源不仅体现了公司在AI技术领域的积累,也为开源社区提供了强大的研究和应用工具。随着Kimi K3的发布,开源模型在参数规模和技术能力上再次刷新纪录,推动了整个AI领域的技术进步。