三张退役V100显卡搭建千美元homelab,Qwen3.635B推理达100tokens/s
一名DIY爱好者使用三张二手NVIDIA Tesla V100-16GB显卡(俗称“电子垃圾”),在总价1042美元的自建服务器上运行通义千问Qwen 3.6 35B模型,实现约100 tokens/...
在大模型推理成本高企的当下,一种另辟蹊径的方案正吸引技术爱好者关注:利用已退役的企业级GPU构建低成本本地推理平台。近期,一位名为esologic(Devon Bray)的homelab开发者公开其测试结果——仅用三张二手NVIDIA Tesla V100-16GB显卡,在总成本1042美元的定制机箱中,成功运行通义千问Qwen 3.6 35B模型,实测推理速度达约100 tokens每秒(tokens/s),显著高于70 tokens/s的“实时交互”基准线。
该系统基于Supermicro X10DRG-Q双路主板,搭配两颗Intel Xeon E5-2687W十二核处理器与Corsair HX1500i电源,构成一套典型的高性能计算节点。值得注意的是,这些V100显卡并非全新产品,而是从数据中心退役后流入二级市场的“e-waste”(电子废弃物),单卡价格远低于新品,但凭借其16GB HBM2显存与5120个CUDA核心的规格,仍具备支撑大型语言模型推理的能力。
测试采用llama.cpp框架,覆盖Qwen 2.5、Gemma 4及Qwen 3.6等多个主流开源模型,量化精度涵盖Q4、Q8与F16,并在4K至128K不同上下文长度下进行比对。结果显示,Qwen 3.6 35B在三卡V100配置下,于4K上下文时达到100.8 tokens/s;即便在128K超长上下文下,仍维持72.7 tokens/s,远超同配置下Qwen 3.6 27B的14.2 tokens/s表现。
对比数据进一步揭示了硬件效率差异:相同任务下,三张V100的功耗约为三张P100的一半;而与苹果M5 Max Mac Studio相比,在长上下文(如64K以上)推理中,该千美元V100集群甚至实现了更高吞吐量。这表明,尽管V100架构发布于2017年(基于Volta架构),其高带宽显存与专用Tensor Core在特定负载下仍具竞争力。
值得强调的是,Qwen 3.6 35B模型因参数规模庞大,在单卡或双卡V100上无法完成8-bit(Q8)量化加载——内存不足导致推理失败,必须依赖三卡并行才能稳定运行。这也反映出当前大模型部署中的现实瓶颈:显存容量往往比算力更关键。开发者指出,其日常已将该系统用于“daily driving”Qwen 3.6 35B,验证了其可用性。
此次测试是其系列实验的延续。此前7月,该作者曾测试15张不同型号的退役GPU(含K80、P100、V100),本次则聚焦于控制变量:统一主板、CPU与电源,仅调整GPU数量与型号,以精确评估多卡扩展效果。全部9组配置共完成130余项LLM基准测试,涵盖多种量化方式与上下文窗口组合,数据详实度较高。
从行业视角看,此类实践反映了开源大模型生态中“平民化推理”的持续演进。一方面,Qwen 3.6等新一代模型通过结构优化(如MoE混合专家设计)提升了推理效率;另一方面,二手GPU市场为预算有限的开发者提供了可行路径。据公开交易信息,一张成色较好的V100-16GB目前售价约200–300美元,三张合计成本可控;配合二手Xeon CPU与主板,整机成本可压至千元级别。
然而,该方案亦存在明显局限。首先,V100不支持INT4量化,限制了进一步压缩模型体积的空间;其次,多卡通信依赖PCIe拓扑与NVLink(V100支持NVLink 1.0),在非优化配置下易出现带宽瓶颈;再者,驱动与软件栈兼容性问题频发,llama.cpp虽适配良好,但其他推理框架可能需手动编译或降级CUDA版本。
更重要的是,能效比优势正在被新一代架构快速收窄。例如,NVIDIA A10(Ampere架构)、L40S或RTX 4090等消费级/专业级新卡,在单位瓦特性能上已全面超越V100。以RTX 4090为例,单卡FP16算力达82.6 TFLOPS,而V100仅为125 TFLOPS INT8但FP16仅15.7 TFLOPS;且4090功耗350W vs V100的250W,单位功耗性能更高。
但对特定场景而言,V100仍有不可替代价值。其16GB HBM2显存远超多数消费级显卡(RTX 4090为24GB GDDR6X,虽总量高但带宽略低),且HBM2在长序列处理中延迟更低;加之企业级卡的7×24小时稳定性设计,使其在小型私有部署中更具可靠性。
当前,随着Qwen 3.7、Llama 3.2等更大规模模型陆续开源,对显存与带宽的需求将持续攀升。短期内,二手V100集群仍是预算敏感型用户的务实选择;长期看,专用推理芯片(如Groq LPU、Cerebras晶圆级芯片)与更高效的量化技术(如AWQ、GGUF动态分组)或将重塑本地推理格局。
需要指出的是,“电子垃圾”一词在此语境中并无贬义,而是社区对退役企业硬件的戏称。这些曾服务于云厂商训练集群的GPU,经翻新后仍在边缘计算、科研验证与个人AI实验中焕发第二春,体现了硬件资源循环利用的实际价值。
该案例也提示:大模型落地不应仅依赖“堆新卡”,而需结合模型轻量化、系统调优与硬件再利用形成综合方案。对于高校实验室、独立开发者或中小企业,千美元级的V100三卡方案提供了一条通往35B级模型推理的可行路径,尽管它并非终极解法,却为技术民主化增添了一个真实注脚。
