Homelab用户用二手Optane内存跑2.8万亿参数Kimi K3 CPU推理达0.85 token/s

近日，一名Reddit Homelab用户成功在无GPU参与的纯CPU平台上运行Moonshot AI发布的2.8万亿参数大语言模型Kimi K3。系统搭载一颗40核第三代Intel Xeon Scalable处理器，搭配约610GB二手第二代Optane持久内存PMem 200（含128GB/256GB/512GB模块组合），采用Memory Mode配置——Optane作主存、DRAM作缓存，兼容标准PyTorch推理框架。模型经1-bit量化后实现加载与推理，速度为0.85 tokens/秒，生成百字响应需近两分钟。该方案成本显著低于同等容量DDR4 DRAM，回应了高容量内存采购难、主板插槽受限等现实瓶颈。但Optane高负载下发热剧烈，用户加装两台12W鼓风机直吹内存条，将主动散热列为强制要求；相较第一代PMem 100，第二代带宽提升约32%，功耗与热密度同步上升。该项目虽未达实用性能，却为家庭级超大规模模型本地化部署提供了可复现路径，凸显在隐私敏感与边缘推理场景下避免GPU依赖的价值。同期，英国初创公司Nagare Labs正推进Z2RAM技术，试图通过取消DRAM电容结构实现14倍速度与5倍密度目标，但尚处仿真阶段；而消费级CPU如i5-14490F、Ryzen5 3600等仅适用于百亿至千亿级模型。此次实践体现资源约束下的工程创新：复用淘汰硬件、深度调优与物理改造，成为开源社区推动AI民主化的典型缩影。