苹果内部系统Minions将闲置Mac组建成虚拟GPU云,AI推理任务等待时间从10小时降至数分钟
苹果研究人员在arXiv发表论文,介绍其内部系统“Minions”:利用大量闲置Mac设备(搭载Apple Silicon)构建分布式虚拟GPU云,专用于AI推理任务。该系统采用拉取式执行模型,显著缩...
苹果公司正悄然将其遍布全球办公室的闲置Mac设备转化为一个隐秘但高效的计算资源池。据其研究人员近期在arXiv平台发布的论文披露,苹果内部已部署一套名为“Minions”的分布式系统,将未被使用的Mac电脑整合为一个虚拟GPU云,专门服务于AI推理任务。这一做法不仅缓解了公司内部GPU资源紧张的问题,更展现出消费级硬件在特定场景下支撑企业级AI工作的潜力。
该系统的核心目标是解决AI任务排队积压问题。在Minions上线前,部分AI推理请求在公司内部GPU队列中需等待超过10小时;而引入该方案后,同等任务的平均等待时间被压缩至几分钟级别。触发机制也极为轻量——员工仅需在公司Slack频道中发出请求,系统即可自动调度闲置Mac节点介入处理。不过,研究者同时指出,跨团队数据在非本组设备上运行引发的安全与合规顾虑,仍是实际推广中的现实挑战。
Minions系统架构清晰,由三类组件协同运作:Minion Server(任务分发与管理)、Minion Executor(每台参与Mac上的执行单元)与Minion Watchdog(故障监控与恢复)。整个系统严格限定于Apple Silicon芯片的AI推理能力,不涉及训练任务,也不兼容NVIDIA等第三方GPU。其设计哲学强调去中心化与弹性:没有中央调度器,而是采用“拉取式执行模型”(pull-based execution model),即各Mac主动通过REST API向服务器轮询待处理子任务。
具体工作流程如下:用户提交任务后,Minion Server将其拆分为多个子任务,存入PostgreSQL数据库;各Mac上的Executor定期查询并拉取下一个子任务;输入数据与模型文件均从Amazon S3下载(模型如需则本地缓存);子任务在本地GPU上完成推理后,结果再回传至S3。这种设计大幅降低了中心节点负载,也提升了系统容错性。
系统当前支持两类主流AI推理任务:一是基于开源Hugging Face Transformer模型的嵌入(embeddings)生成;二是通过Ollama框架实现的大语言模型文本生成。Ollama作为轻量级本地LLM运行环境,已在参与计划的Mac上统一部署,确保推理环境一致性。值得注意的是,所有推理均在设备本地完成,模型权重与中间数据不出设备,符合苹果一贯的隐私优先策略。
故障处理机制是Minions稳健运行的关键保障。Minion Watchdog持续监听各Mac上报的“心跳信号”(每5分钟一次)。一旦检测到设备离线(如休眠、断网、关机)或用户手动终止Executor进程以夺回设备控制权,未完成的子任务将被自动重新放回任务队列,由其他可用节点接续处理。该机制确保了任务最终一致性,避免因单点失效导致整体失败。
从技术路径看,Minions并非追求极致性能的超算方案,而是面向“长尾低频高并发”场景的务实优化。它充分利用了苹果生态中大量处于闲置状态的M系列Mac——这些设备在日常办公中CPU与GPU利用率常低于20%,却具备强大的神经网络加速能力(如M2/M3芯片的16核 Neural Engine)。在无需额外采购专用AI服务器的前提下,通过软件层调度盘活存量资产,既节约成本,又提升资源周转效率。
这一实践对行业具有启发意义。近年来,随着大模型推理需求激增,企业普遍面临GPU资源瓶颈。英伟达A100/H100等高端卡价格高企、交付周期长,而中小企业或研发团队往往难以承担整套训练集群建设。Minions提供了一种“边缘-中心协同”的新思路:在保证数据不出域的前提下,将分散的终端设备组织为弹性推理池。类似思路已在学术界有所探索,如MIT的“Distributed Inference on Edge Devices”项目,但苹果将其落地为成熟内部系统,且规模可观,实属罕见。
当然,该方案也有明确边界。首先,它仅适用于推理而非训练;其次,依赖Apple Silicon生态,无法跨平台扩展;第三,任务粒度受限于子任务可分割性——高度耦合或状态依赖强的任务难以适配。此外,员工对设备被“征用”的接受度、IT部门对执行环境的管控能力,也是组织层面需协调的因素。
值得玩味的是,苹果选择在arXiv公开此系统细节,而非完全保密,显示出其在AI基础设施领域的开放姿态。尽管未提及对外商业化意图,但该架构逻辑清晰、模块解耦,未来若抽象为通用框架,或可赋能教育机构、初创公司乃至个人开发者,构建低成本本地AI服务网络。
目前,Minions仍为苹果内部系统,未对外发布。但其揭示的技术路径表明:在AI算力紧缩的当下,重新审视终端设备的潜在价值,或许比一味追逐更高规格GPU更具可持续性。当一台普通办公Mac也能成为推理节点,算力的分布形态正在悄然改变。
