破解版PS4本地运行90亿参数Qwen3.5大模型,43Token/秒实测性能超部分PC
开发者Leonardo Alegría发布开源项目Garlic LLM,成功在2013年发售的PS4主机上本地运行阿里通义千问Qwen3.5-9B模型。通过4-bit量化压缩至4.5GiB,并绕过图形...
2013年发售的PlayStation 4主机,如今正以一种意想不到的方式重返技术前沿——它已能本地运行拥有90亿参数的大语言模型(LLM)。开发者Leonardo Alegría近日正式开源项目Garlic LLM,实现了在越狱PS4上部署阿里巴巴开源的Qwen3.5-9B模型,全程无需联网、不依赖PC,仅凭主机自身硬件完成推理任务。
该项目的核心突破在于对PS4硬件架构的深度适配。PS4搭载AMD Jaguar CPU与GCN架构GPU(代号“Jaguar + GCN 1.1”),配备8GB统一内存,主频较低且无现代AI加速单元。传统方案通常通过Vulkan或OpenCL驱动层移植模型,但Garlic LLM选择了一条更激进的技术路径:完全绕过图形驱动栈,直接使用OpenCL C编写面向GCN架构的矩阵运算算子,并通过手动构建PM4指令缓冲区与GPU通信。这种底层通信方式显著降低指令延迟,使GPU核心得以持续满负荷运转,从而在有限算力下榨取最大性能。
为将90亿参数模型塞入8GB内存,项目采用4-bit与3-bit混合量化策略,权重整体压缩至约4.5GiB;注意力缓存同样进行4-bit量化,支持最长1.6万token上下文窗口。最终安装包体积为5.66GB,可在Hugging Face平台免费下载,需配合GoldHEN自制系统环境运行。开发者已在固件版本11.52的PS4 Slim及标准版主机上完成全部测试验证。
实测数据显示,Garlic LLM在纯文本生成模式下最高可达43Token/秒,代码生成场景亦接近该水平;若开启语音交互链路,速度仍稳定在22Token/秒左右。这一表现甚至优于部分中低端PC配置——例如搭载i5-12400F+RTX 3050的台式机,在同等量化条件下常低于30Token/秒。
语音能力是该项目另一亮点。系统集成Nvidia Parakeet语音识别模型(0.6B参数),支持25种欧洲语言听写;输出端采用Chatterbox语音合成模型,覆盖7种语言。用户只需按住DualShock 4手柄的录音键即可启动语音输入,实现完全离线的多语言人机对话。界面设计简洁直观,包含“语音模式”“新建对话”“切换温度”等功能按钮,操作逻辑贴近主流LLM应用。
值得注意的是,Garlic LLM并未基于llama.cpp等主流轻量推理框架开发,而是从零构建推理引擎。其性能优势部分源于Qwen3.5模型本身的设计特性:内置多token预测头机制,可一次前向推测最多两个token再由主模型校验,有效减少重复计算开销。这种“预测-验证”双阶段策略,在低算力设备上尤为关键。
技术实现细节显示,CPU负责分词、UI渲染与音频I/O调度,GPU专注矩阵乘法等核心计算。由于PS4 GPU拥有18个计算单元(CU)、1152个流处理器,虽单核频率仅800MHz,但在高度并行的GEMM(通用矩阵乘法)任务中仍具潜力。开发者通过精细的内存布局优化与指令流调度,使GPU利用率长期维持在90%以上,避免了传统驱动层带来的资源闲置问题。
从行业视角看,Garlic LLM的意义远超“老设备复活”的趣味实验。它揭示了一个被忽视的事实:消费级GPU的通用计算潜力尚未被充分挖掘。PS4所用的GCN架构虽已淘汰,但其SIMD宽度、内存带宽与指令集设计仍具备执行Transformer推理的基础条件。类似思路可延伸至Xbox One、Nintendo Switch(Tegra X1)等其他旧世代主机,甚至嵌入式设备如树莓派5(搭配外置eGPU)。
当前大模型部署普遍依赖云端或高端PC,而边缘侧本地化推理仍面临成本与功耗瓶颈。Garlic LLM证明,即使在2013年的硬件平台上,只要放弃“兼容优先”思维、转向“架构定制”路径,仍可实现可用的LLM体验。这为低功耗终端的AI普惠提供了新范式——尤其适用于网络受限、隐私敏感或教育普及场景。
当然,项目仍有明显局限:仅支持Qwen3.5-9B单一模型;语音模块未开放训练接口;高负载下PS4风扇噪音显著增加;且越狱操作存在变砖风险,非技术用户难以复现。但作为开源社区的一次硬核探索,它重新定义了“老旧硬件”的价值边界。
项目命名“Garlic LLM”源自PS4 GPU直接访问的“Garlic内存”——这是索尼工程师为区分GPU专用显存而起的内部代号。开发者以之致敬硬件底层的精妙设计,也暗喻“小蒜头也能爆发出强烈风味”。目前代码与模型已在Hugging Face公开,社区已开始尝试移植Llama-3-8B等其他架构模型。
随着边缘AI需求增长,如何在有限算力下高效部署大模型成为关键课题。Garlic LLM未必是终极方案,但它提供了一种极具启发性的解题思路:当通用框架无法适配时,回归硬件本源,用最直接的方式与硅基芯片对话。
