纯CPU跑通2.8万亿参数KimiK3，二手傲腾内存成关键，散热成最大挑战

近日，一名Reddit用户在纯CPU平台上成功运行了月之暗面研发的2.8万亿参数大语言模型Kimi K3——这一成果引发社区广泛关注。不同于常规依赖多卡GPU集群的数据中心部署方案，该玩家全程未使用任何显卡，核心硬件是一颗40核心的第三代英特尔至强可扩展处理器，搭配四条已停产的第二代傲腾持久内存（Optane PMem 200）。此举不仅突破了超大规模模型本地化推理的硬件边界，也揭示出一种高成本效益但工程挑战极大的新路径。

Kimi K3采用混合专家（MoE）架构，总参数量达2.8万亿，虽单次推理激活参数约1040亿，但模型权重仍需庞大存储空间支撑。据多方验证，即便经社区量化压缩至最低规格，其运行仍至少需要610GB内存。在当前DDR5内存价格居高不下的背景下，堆叠同等容量DRAM的成本动辄数万元；而二手傲腾PMem 200单条最高512GB，四条即可满足需求，采购总价仅为同容量DRAM的几分之一，成为家庭级部署中罕见可行的选项。

该方案的关键技术在于内存工作模式的选择。傲腾支持Memory Mode与App Direct两种模式：前者将傲腾作为主存、DRAM作缓存，对软件透明；后者则将其暴露为独立持久化区域，由操作系统与应用直接映射管理。本次搭建采用App Direct模式，使模型张量能按需分布于DRAM与傲腾之间，实现更精细的资源调度。实验者指出，关闭DAX（Direct Access）挂载后，1-bit量化推理速度从0.85 Token/秒提升至1.50 Token/秒，原因在于Linux内核页面缓存得以复用DRAM，减少对慢速傲腾的频繁访问。

然而，性能代价显著。在3-bit量化下，系统仅能维持0.75 Token/秒的生成速率；即便优化后1-bit版本达1.5 Token/秒，完成5万Token输出仍需近9小时。这一速度远不能支撑实时对话，但对离线批量任务（如夜间文档摘要、长文本生成）具备实用价值。值得注意的是，此前第一代方案曾结合RTX 3060 GPU与2-bit量化运行约1万亿参数的Kimi K2.5，实现约4 Token/秒速度——两者目标模型规模与硬件配置差异较大，不可直接对比，但凸显纯CPU路径的性能瓶颈。

真正的工程难点在于散热。傲腾PMem 200在满载推理时单条功耗达12–15W; 四条并排即产生最高60W热负荷，紧贴主板内存插槽区域。英特尔官方要求持续气流风速达2.4–2.7米/秒，接近数据中心标准。该用户不得不加装两台12W额定功率的涡轮风扇，定向强吹内存位。他明确警告：若无主动散热，高温不仅会烤坏相邻DRAM模块，甚至可能熔化主板插槽焊点——图中可见风扇紧贴内存模组的极端布局，正是对此风险的直接应对。

傲腾PMem 200于2020年随第三代至强发布，属英特尔已终止的产品线。其核心优势在于高容量与字节寻址能力，但延迟与带宽仍远低于DRAM。在App Direct模式下，软件需重写内存管理逻辑以适配分层存储，这对开源推理框架（如llama.cpp、vLLM）构成额外适配负担。目前社区尚未形成标准化支持方案，实际部署高度依赖个人调优经验。

从产业视角看，此类“硬核DIY”反映了一个现实矛盾：超大规模模型正快速下沉至边缘与个人场景，但硬件生态尚未同步演进。GPU仍是主流推理载体，而CPU+持久内存路径虽成本低、隐私强，却受限于能效比与开发复杂度。随着MoE架构普及，模型参数量持续攀升，610GB内存门槛可能很快被突破至TB级，届时傲腾等替代方案的价值或进一步凸显，但也亟需更成熟的软硬件协同栈。

值得留意的是，该案例并非孤例。过去一年已有多个类似尝试，包括用RDIMM+SSD交换空间模拟大内存，或结合FPGA加速特定算子。但纯CPU+傲腾方案因其“零GPU”特性，在隐私敏感、离线部署场景中具备独特吸引力。对于预算有限但追求本地化AI能力的开发者而言，它提供了一种高门槛却可触达的技术可能性——前提是愿意承担散热设计、系统调优与漫长等待时间的综合成本。

技术探索永无止境。当2.8万亿参数模型能在一台家用服务器上悄然运转，它提醒我们：算力民主化的路径不止一条，只是每条路上都布满散热孔与调试日志。