律师自建8卡V100私有AI服务器 推理速度达215 tokens/s

一名执业律师在Reddit分享其自建的私有AI推理系统：采用8块2018年推出的NVIDIA Tesla V100-SXM2-32GB二手GPU，通过双四卡SXM2载板与PEX交换芯片互联，部署2500亿参数的DeepSeek-V4.1 Flash模型。系统使用Gigabyte Threadripper Pro主板、AMD Ryzen Threadripper PRO 3945WX CPU及256GB DDR4 RDIMM内存，配备双2800W冗余电源，确保稳定运行。8块V100显存合计256GB，整模全驻显存无Offload，实测推理速度达200–215 tokens/秒。硬件架构为双NUMA节点结构——单板内GPU通过NVLink直连，两板间仅靠PCIe通信；每板经SlimSAS线缆连接PLX PEX交换芯片，以PCIe 3.0 ×8速率接入主机。该方案成本约4800美元（发布时），现二手价已涨至约900美元/卡。系统完全离线运行，确保法律案件文件不出办公室，满足保密规范与数据主权要求。虽V100仅支持CUDA 10.2以下、功耗高且散热噪音大，但其32GB HBM2显存仍可承载70B级量化模型或250B全精度模型的小规模部署，相较消费级RTX 4090更具显存优势。该实践反映专业领域对可控、可审计AI辅助工具的迫切需求，也为法律、医疗、金融等高敏感行业提供本地化推理参考路径。