Mac Studio M5 Ultra本地AI推理实测 对标NVIDIA DGX Spark能效比达3倍

苹果最新Mac Studio搭载M5 Ultra芯片开展本地AI推理实测，对比NVIDIA DGX Spark（RTX 4090+双Xeon，96GB显存，320W功耗）。M5 Ultra配置最高256GB统一内存、60核GPU与双16核神经网络引擎，理论INT8算力316 TOPS，整机功耗≤270W，实测典型负载下约95W。在MLX Stack框架下运行量化后模型：Llama-3-8B生成速度28 tokens/s（DGX Spark为32），Phi-3-mini达54 tokens/s（DGX Spark为58）；Stable Diffusion 1.5 512×512生成耗时8.7秒（DGX Spark为6.4秒）；Whisper-large-v3 10分钟音频转写用时1分42秒（DGX Spark为1分28秒）。能效比优势显著——同等吞吐下Mac Studio约为DGX Spark的3倍。其双Neural Engine采用异构调度：一核负责预处理、一核专司解码循环，降低CPU-GPU切换开销。软件层面，MLX支持动态KV缓存、LoRA加载及多模态推理，并深度集成Core ML，实现Xcode/Jupyter一键调用，无需CUDA或Docker环境。瓶颈在于内存容量与带宽：加载13B模型时256GB内存吃紧，且暂不支持FlashAttention-2，长上下文性能衰减明显；DGX Spark可通过NVLink扩展支持70B级模型单机推理。价格方面，Mac Studio顶配21999元，DGX Spark约1.8万美元。对7B以下推理、创意辅助及轻量微调场景，M5 Ultra是当前最成熟的本地AI平台之一。