四路TeslaV100魔改集群AI推理性能超M5Ultra230%，9年老卡再显实力

2024年10月12日，YouTube技术博主Jun Yamog发布了一项令人意外的硬件实测：一套由四张发布于2017年的英伟达Tesla V100组成的AI推理集群，在多项基准测试中显著超越了当前主流的高端平台——包括搭载M5 Ultra芯片的Mac Studio与两台英伟达DGX Spark（GB10）组成的集群。其中，在长提示词处理任务中，该V100集群性能比M5 Ultra高出230%，比双DGX Spark快40%。这一结果引发关注：一颗距今已9年的数据中心GPU，为何仍能在AI推理场景中展现强大竞争力？

Tesla V100是英伟达于2017年推出的Volta架构旗舰级计算卡，定位面向HPC与AI训练/推理市场。其核心配置包括：GV100 GPU核心、32GB HBM2显存、900GB/s显存带宽，以及对Tensor Core的首次引入——这使其在矩阵运算密集型任务中具备先天优势。尽管后续A100、H100等架构迭代迅速，V100因成本低、供货稳定，在部分边缘推理与科研场景中仍被沿用。此次测试所用的正是32GB版本。

然而，直接部署四张V100面临物理与电气限制：标准PCIe插槽无法容纳四卡并行，且原生不支持多卡NVLink直连。Jun Yamog的解决方案是采用一块定制NVLink载板（NVLink Bridge Board），该载板集成6条NVLink 2.0链路，总互连带宽达300GB/s，实现四卡间高速数据同步。为解决散热难题，他将英伟达A100的均热板式散热器进行铣削加工，适配V100的尺寸与热设计功耗（TDP约300W/卡）。最终，整套系统通过PCIe x8转接卡接入主机，单卡供电由独立8-pin接口提供，整机功耗峰值超过1200W。

测试环境统一采用4-bit量化的Qwen3.8-Flash-Next模型，对比对象为：一台配备M5 Ultra芯片的Mac Studio（128GB LPDDR5X统一内存）、两台DGX Spark（每台同样配置128GB LPDDR5X内存，共256GB）。测试分为两类任务：Prompt Processing（提示词处理，即模型加载输入并准备生成）与Token Generation（逐token输出响应）。

在长提示词场景下（输入长度约2048 tokens），四路V100集群取得4098.3 tok/s的成绩，远超M5 Ultra的1201.4 tok/s（+230%），也优于双DGX Spark的2927.2 tok/s（+40%）。短提示词场景（输入长度约128 tokens）中，V100集群为3541 tok/s，M5 Ultra为1347 tok/s（+163%），DGX Spark集群为2509 tok/s（+40%）。

Token生成环节的结果更具差异性。短提示下，V100集群达到100.6 tok/s; DGX Spark集群为45.5 tok/s（+121%）；而M5 Ultra仅为44.5 tok/s，几乎与DGX Spark持平。值得注意的是，M5 Ultra在Prompt Processing阶段表现尚可（1347 tok/s），但在Token生成阶段明显滞后，反映其可能受限于软件栈调度或量化推理优化程度——博主本人亦指出，Apple Silicon在AI推理领域的软件生态仍在完善中，尤其对非Transformer原生优化的模型支持有限。

相比之下，V100虽属旧架构，但其CUDA生态成熟、驱动稳定，配合nvcc编译器与TensorRT推理引擎，可在4-bit量化下高效调度计算单元。此外，32GB HBM2显存对于Qwen3.8-Flash-Next这类参数规模约3B~7B的模型而言绰绰有余，避免了频繁的显存交换开销。而DGX Spark虽采用更新的Blackwell架构GB10芯片（基于B200），但单卡仅24GB HBM3显存，在批量推理时易受显存容量制约；双机互联依赖InfiniBand，延迟高于NVLink直连，导致协同效率略逊于四V100的板级互联方案。

需强调的是，该方案并非面向消费市场的实用产品，而是高度定制的工程实验。其体积庞大（载板+散热模组占用约4U机箱空间）、功耗极高（满载超1.2kW）、噪音显著，且依赖手工改装能力。普通用户难以复现，亦不具备能效比优势。M5 Ultra在单设备能效、静音性与集成度上仍具压倒性优势——其整机功耗仅约100W，即可完成轻量级本地推理。

从行业视角看，此次测试揭示了一个常被忽视的事实：AI推理性能不仅取决于芯片制程与算力峰值，更受制于系统级协同设计——包括互联带宽、显存容量、软件栈成熟度与量化适配能力。V100集群胜出的关键，在于其“够用”的显存+高带宽NVLink+成熟CUDA生态的组合，而非单纯算力堆叠。这也解释了为何部分企业仍在使用P100、V100等老卡部署推理服务：在预算受限、模型规模适中、对延迟容忍度较高的场景下，旧卡经合理改造后仍具性价比。

不过，长期来看，专用AI加速器的演进方向明确：更高能效比、更优软硬协同、更低部署门槛。英伟达已转向Blackwell架构的B200/B100，谷歌推出TPU v5e，苹果持续强化NPU与神经引擎。V100的“回光返照”更多是技术怀旧与工程智慧的体现，而非趋势逆转。它提醒我们：在AI硬件军备竞赛中，历史遗产仍可被重新激活，但真正的赢家属于那些能将算力、带宽、内存与软件无缝整合的下一代平台。

目前，Jun Yamog已公开部分载板设计图纸与散热改装细节，供社区参考。该案例也成为近期硬件爱好者讨论“老卡新用”的热点话题，尤其在开源大模型本地部署热潮下，如何以低成本构建可用推理节点，仍是许多开发者关心的实际问题。