KimiK3开源显存需求激增,200万级硬件门槛成商用瓶颈
近日,月之暗面(Moonshot AI)正式开源了其最新大模型Kimi K3,这款拥有近3万亿参数的开源模型迅速成为AI领域的焦点。然而,随着完整权重的开放,其庞大的硬件需求也引发了广泛讨论。 根据技...
近日,月之暗面(Moonshot AI)正式开源了其最新大模型Kimi K3,这款拥有近3万亿参数的开源模型迅速成为AI领域的焦点。然而,随着完整权重的开放,其庞大的硬件需求也引发了广泛讨论。
根据技术社区的测算,Kimi K3在MXFP4原生精度下,仅权重就需要超过1.56TB的显存空间。这意味着即便使用当前顶级的8块NVIDIA B200 GPU卡(每卡288GB显存),也只能勉强装下模型权重,实际运行时还需要额外显存支持。有业内人士估算,一套能够完整加载并运行Kimi K3的最低硬件配置成本至少需要170万至240万元人民币。
更值得注意的是,如果要将Kimi K3用于商业级API服务,硬件投入将大幅增加。考虑到多用户并发、百万上下文处理、低延迟等要求,官方建议至少采用64张加速卡组成的超节点集群。按照目前的硬件价格计算,这样的商业级部署成本可能达到1400万至1900万元人民币。
面对如此高昂的硬件门槛,国产算力生态开始发挥作用。阿里云宣布其真武M890超节点已完成对Kimi K3的适配,这是国内首次成功在国产超节点上运行近3万亿参数的大模型。该超节点通过ICN Switch高速互联芯片,将64张平头哥真武M890连接成一个整体,总显存约9TB,不仅能够容纳Kimi K3的权重,还有富裕空间支撑模型运行和长上下文处理。
"Kimi K3的开源标志着大模型时代的真正到来,"一位资深AI从业者表示,"但我们也必须清醒地认识到,硬件基础设施仍然是制约大模型普及的关键因素。"
对于普通开发者或中小企业而言,直接购买和维护这样一套高端硬件集群显然不现实。阿里云提供的云服务模式为这个问题提供了一个解决方案:开发者无需自行购置昂贵的硬件设备,只需通过云平台即可便捷地使用Kimi K3模型。这种模式不仅降低了硬件门槛,也为更多创新应用的开发提供了可能。
尽管如此,Kimi K3的开源仍然具有重要的行业意义。它表明,即使在硬件资源极度受限的情况下,通过软件优化和国产算力的支持,大型AI模型的部署和应用仍然是可行的。这或许将推动整个AI产业在软硬件协同优化方面取得新的突破。