网通社科技快报

双RTX 3090加Optane内存本地跑2.8万亿参数Kimi K3达3.11 tokens/s

一位Reddit用户在其家庭实验室中,利用两块NVIDIA RTX 3090显卡(共48GB VRAM)、Intel第二代Optane P4800X持久内存及基于tmpfs的RAM盘,成功本地运行参数量达2.8万亿的Moonshot Kimi K3大语言模型。该模型为Q2_K量化版本(约4–5 bit),总权重约865GB,远超GPU显存容量,因此采用分层卸载策略:活跃层驻留显存,其余参数通过DAX模式直接读写Optane设备,并将45个分片(414GB)迁移至RAM盘。优化后生成速度达3.11 tokens/s(原为2.20),提升41%;提示评估速度16.8 tokens/s(原13.3),提升26%。技术栈基于llama.cpp框架,系统推测配备超1TB DDR4内存以支撑RAM盘稳定运行,整机成本控制在1万元以内。该方案未使用专业AI加速卡,凸显内存带宽与数据布局对超大模型推理的关键影响。Kimi K3采用MoE结构,实际激活参数远低于总量,为本地部署提供前提。尽管响应延迟仍较高(200词英文约65秒),但满足离线生成、隐私敏感场景需求,体现个人对模型主权的实践探索。