三张九年前的TeslaV100显卡组合,128K上下文推理速度反超M5Max

开发者Devon Bray用3张二手NVIDIA Tesla V100(2017年发布)搭建本地AI主机,运行Qwen 3.6 35B模型时,在128K长上下文下达到72.7 tokens/s,优于搭...

人工智能 阅读量: 17.65万

在AI推理硬件持续迭代的当下,一组来自九年前的服务器显卡意外重返舞台中心。开发者Devon Bray近期公开了一套基于三张NVIDIA Tesla V100的本地AI推理平台测试结果:该配置在运行通义千问Qwen 3.6 35B模型时,于128K上下文长度下仍能稳定输出72.7 tokens/秒,不仅满足实时交互需求(通常以70 tokens/s为阈值),更在长文本场景中反超售价近3.6万元的苹果M5 Max Mac Studio。

这套系统的核心硬件为三张16GB显存版本的Tesla V100——NVIDIA于2017年推出的Volta架构数据中心加速卡,距今已近九年。尽管V100早已退出主流市场,但其16GB HBM2显存与5120个CUDA核心的规格,在特定推理负载下仍具竞争力。开发者选用Supermicro X10DRG-Q双路服务器主板,搭配两颗Intel Xeon E5-2687W处理器(单颗28.2美元)、Corsair HX1500i电源及定制散热风道,整机硬件成本约1070美元(约合7138元人民币)。

测试采用llama.cpp框架进行量化推理,重点对比了Qwen 3.6 35B(混合专家MoE架构,总参数350亿,每Token激活约30亿)与Qwen 3.6 27B(稠密模型)在不同上下文长度下的表现。结果显示,3×V100在8-bit量化下:4K上下文达100.8 tokens/s,32K为89.4,64K为83.5,128K仍维持72.7 tokens/s;而同平台运行27B稠密模型时,128K上下文性能骤降至14.2 tokens/s,凸显MoE架构对长上下文推理效率的显著提升。

更值得关注的是与苹果M5 Max Mac Studio的横向对比。后者配备40核GPU与128GB统一内存,官方售价5399美元(约36020元人民币)。在相同Qwen 3.6 35B 8-bit测试中,M5 Max在短上下文(4K/32K)略占优势(105.5 / 91.1 tokens/s),但随着上下文拉长,其性能衰减更快:64K时为78.5 tokens/s,128K时降至61.3 tokens/s——此时3×V100以83.5和72.7 tokens/s实现反超,128K场景下领先幅度达18.6%。

这一结果并非偶然。开发者系统性测试了Tesla K80、P100与V100在1至3卡组合下的表现,覆盖Qwen 2.5、Gemma 4及Qwen 3.6等模型,总计130余项测试,上下文长度从4K延伸至128K,并涵盖4-bit至8-bit多种量化精度。数据清晰显示代际差异:3×P100(2016年Pascal架构)在128K上下文下仅40.2 tokens/s,远低于V100的72.7;而K80(2014年Maxwell架构)表现更弱,未进入最终对比主表。

值得注意的是,V100作为专业计算卡,缺乏消费级显卡常见的主动散热模块,需额外工程干预。开发者为每张卡3D打印定制风道,并加装独立风扇以应对高负载发热问题。此外,该平台体积庞大、运行噪音较高、整机功耗显著(估算满载超600W),且依赖服务器级主板与双CPU配置,对普通用户存在较高装机门槛。

柱状图对比Qwen 3.6 35B与27B在不同上下文长度下的生成速度

从技术角度看,V100胜出的关键在于其显存带宽与容量优势。Qwen 3.6 35B的MoE结构虽总参数达350亿,但每次前向传播仅激活约30亿参数,对显存带宽敏感度高于算力峰值。V100配备1.5TB/s的HBM2显存带宽(P100为192GB/s GDDR5X),配合48GB总显存(3×16GB),在长上下文场景中有效缓解了KV Cache膨胀导致的显存压力。相比之下,M5 Max虽拥有128GB统一内存,但其LPDDR5X带宽仅约400GB/s,且内存控制器与GPU共享带宽资源,在高并发长序列推理中易成瓶颈。

这一案例也折射出当前本地大模型部署的现实路径分化:高端消费端(如M5 Max)追求能效比与集成度,适合轻量级高频次任务;而旧有数据中心硬件经合理重组后,仍可在特定重负载场景中提供高性价比算力。尤其对于预算有限、需处理超长文档或批量推理的研究者与中小企业,二手V100集群构成了一条可行的“降本增效”通道。

表格展示不同配置在Qwen 3.6 35B下的生成速度对比

不过,该方案的可持续性面临挑战。V100已停产多年,二手市场货源逐步枯竭,且驱动支持与软件兼容性随CUDA版本演进持续收窄。llama.cpp虽通过GGUF量化格式大幅降低部署门槛,但对Tensor Core的利用效率仍不及现代推理框架(如vLLM、MLC LLM)。未来若出现专为长上下文优化的新型开源模型,或新一代低功耗服务器GPU(如L40S、RTX 6000 Ada)价格回落,此类“复古方案”的吸引力可能减弱。

文章配图

归根结底,这次测试的价值不在于鼓吹“老卡万能”,而在于揭示一个被忽视的事实:在AI推理的实用主义维度上,硬件的“新旧”并非唯一标尺,架构适配性、显存带宽与模型特性之间的匹配关系,往往决定最终性能边界。当行业聚焦于H100、B200等前沿芯片时,九年前的V100以实测数据提醒我们:算力的生命周期,远比产品发布日期所暗示的更为绵长。