四张Tesla V100魔改集群AI推理性能超M5 Ultra 230%

2024年10月12日，YouTube技术博主Jun Yamog发布实测：四张2017年发布的英伟达Tesla V100经魔改组成AI推理集群，在多项基准测试中显著超越当前高端平台。该集群采用定制NVLink载板集成6条NVLink 2.0链路（总带宽300GB/s），并适配A100均热板散热器，单卡TDP约300W，整机满载功耗超1200W。测试使用4-bit量化的Qwen3.8-Flash-Next模型，对比对象为M5 Ultra Mac Studio及双DGX Spark集群。在长提示词（约2048 tokens）处理中，V100集群达4098.3 tok/s，较M5 Ultra（1201.4 tok/s）提升230%，优于双DGX Spark（2927.2 tok/s）40%；短提示下亦分别领先163%与40%。Token生成环节，V100集群达100.6 tok/s，显著高于DGX Spark（45.5 tok/s）与M5 Ultra（44.5 tok/s）。胜出关键在于32GB HBM2显存充足、NVLink板级互联低延迟、CUDA生态成熟且TensorRT优化充分；而DGX Spark受限于24GB HBM3显存与InfiniBand互联延迟，M5 Ultra则受制于软件栈对非Transformer模型支持不足。需强调该方案属高度定制工程实验，体积大、功耗高、噪音强，不具备能效优势，但揭示了AI推理性能不仅依赖芯片算力，更取决于系统级协同设计——显存容量、互联带宽与软件适配共同决定实际效能。目前部分设计图纸已开源，引发社区对老卡低成本部署推理节点的讨论。