RTX 5090实测125B模型 18GB显存余量提升吞吐2.46倍

近期一项面向工程落地的实测显示，在单卡RTX 5090（32GB VRAM）上运行Qwen3.8-Flash-Next Q2_0 125B参数MoE模型时，仅因释放18GB被占用显存（从13.7GB自由空间增至18.4GB），模型吞吐量即从74.3 tok/s跃升至182.6 tok/s，提升达2.46倍；平均延迟同步从543ms降至215ms。测试采用严格单变量对照：两轮实验除显存占用外，其余配置一致（上下文32K、KV Cache int8量化、parallel=1、视觉模块CPU处理）。数据分析表明，显存增加使专家缓存覆盖率从约70%提升至98%以上，触发命中率陡增；进而将PCIe溢出比例从3.9%压降至0.1%以下——该路径实测带宽仅13.9 GB/s, 成为关键瓶颈。值得注意的是，溢出率每降1%，吞吐损失约39%，凸显微小显存缺口引发性能断崖。推理引擎Strata v0.2.2自动扩展缓存至98%覆盖，无需人工干预，但依赖硬件提供弹性空间。测试还指出：强行多并发（如parallel=4）会耗尽显存、加剧溢出，反致总吞吐下降，故“单路高吞吐”优于“多路低效并发”。该结果对中小企业具强指导意义——若目标吞吐≥150 tok/s，需确保净余显存≥18GB; 同时应避免同卡部署多个服务，防碎片化占用隐性卡点。当前Qwen等125B+轻量化模型配合RTX 50系列正推动百亿模型实用化，但资源透明化仍是落地前提。