Edge0实现35B MoE模型在Mac流式推理 内存仅2.9GB

Edge0是一个专为混合专家（MoE）模型设计的流式推理开源框架，首次实现在Apple Silicon Mac上高效运行35B参数规模模型。其核心机制包括三项创新：一是SSD专家卸载，将量化后的专家权重以safetensors格式分片存储于SSD，通过mmap按需加载活跃Top-K专家，使峰值内存由激活专家数决定而非总参数量；二是Prerouter预路由器，一个轻量MLP头，基于当前隐藏状态预测下一层激活专家索引，并与计算并行执行，掩盖磁盘I/O延迟；三是Recover-LoRA精度补偿，冻结基模型后叠加蒸馏所得LoRA适配器，动态修复4-bit量化导致的精度损失。实测显示，35B模型经4-bit量化后体积约23GB，运行时峰值内存仅2.9GiB，M4 Pro设备解码速度达14.9–17.7 tok/s；8B模型对应内存仅1.0GiB。框架采用C++底层实现关键模块（prerouter、expertio、lora），上层提供OpenAI兼容API，后端基于Apple MLX优化执行，目前仅支持macOS Apple Silicon（M1–M4），CUDA后端仍在开发中。项目已开源，获8720星标，规划2026年扩展至iOS与Android平台。该方案突破了MoE模型因全权重驻留内存而难以本地部署的瓶颈，为终端侧百亿级模型推理提供可行路径。