越狱PS4运行90亿参数AI模型,每秒最高生成43词,开源项目GarlicLLM实现离线本地推理
开发者Leonardo Alegría推出开源项目Garlic LLM,使越狱后的PS4主机可离线运行阿里巴巴Qwen3.5-9B大语言模型,推理速度达31–43 tokens/秒;支持语音对话与多语...
一台2013年发布的PlayStation 4游戏主机,如今竟能运行参数量达90亿的大型语言模型(LLM),并实现每秒最高43个词元(tokens)的推理输出——这一看似违背硬件常识的操作,已由开发者Leonardo Alegría通过开源项目Garlic LLM真实实现。
该项目的核心突破在于绕过传统驱动层限制,直接调用PS4内置的AMD Radeon GPU进行张量计算。在越狱系统GoldHEN环境下,Garlic LLM将阿里巴巴开源的Qwen3.5-9B模型压缩至约4.5GiB,适配PS4仅8GB GDDR5显存的硬件瓶颈,最终在文本生成任务中达成31–39 tokens/秒的稳定推理速度;经优化后峰值可达43 tokens/秒,具备实际交互可用性。
Garlic LLM的命名颇具巧思:其“Garlic”(大蒜)源于PS4 GPU所使用的GDDR5显存类型代号——该显存被开发者戏称为“Garlic Memory”,而其兄弟类型则称作“Onion Memory”。这种对底层硬件细节的精准把握,是项目得以落地的关键前提。
安装过程相对简洁:用户需先确保PS4已通过GoldHEN实现越狱(测试基于固件11.52版本的初版或Slim机型),随后从Hugging Face下载5.66GB的单体安装包,通过PS4原生Package Installer部署即可。整个过程仅需约6GB空闲空间(若先拷贝至内部硬盘则需12GB),无需额外配置。
更值得注意的是,Garlic LLM不仅支持纯文本对话,还集成了语音交互能力。系统集成Chatterbox语音合成模型,可在七种语言中实现自然语音应答,此时推理速度约为22 tokens/秒;同时,长按控制器按键可激活Nvidia Parakeet TDT 0.6B v3语音识别模块,支持25种欧洲语言的实时听写功能。Parakeet系列模型已在Meetily、Hex等本地化语音应用中验证实用性,此次移植进一步拓展了其边缘部署场景。
从技术路径看,Garlic LLM与近年兴起的“边缘大模型”趋势高度契合。传统观点认为,90亿参数级模型必须依赖现代GPU(如RTX 40系)或专用AI加速芯片才能流畅运行;但该项目证明,在充分挖掘旧硬件潜力、配合量化压缩与低层驱动优化的前提下,十年以上的消费级设备仍可承担轻量级本地AI推理任务。
对比同类尝试,PS5平台已有PS5LM项目,通过llama.cpp + PS5_Vulkan(RADV开源驱动移植版)实现对AMD GPU的直接调用,性能表现优于PS4方案。但PS4的特殊价值在于其极低的硬件门槛与广泛保有量——全球累计销量超1.17亿台,大量二手设备价格低于200元人民币,使其成为极具性价比的“AI实验平台”。
值得强调的是,Garlic LLM并未依赖任何云服务或外部连接,全部推理均在主机本地完成,保障了数据隐私与离线可用性。这对于网络受限环境、教育演示、或对延迟敏感的交互场景具有现实意义。
在模型选择上,Qwen3.5-9B作为阿里云推出的中小规模开源模型,以高推理效率与良好中文能力见长。其9B参数量介于Llama-3-8B与Qwen2.5-72B之间,兼顾性能与资源占用,是边缘部署的理想候选。尽管原始素材未披露具体提示工程与评测方法,但从演示界面可见,模型能准确理解科学常识类问题(如“为何天空呈蓝色”“日落为何偏红”),并以要点列表形式清晰作答,显示其逻辑组织能力未因压缩显著退化。
开源社区对此反应积极。项目代码与权重已完全公开,允许开发者复现、修改乃至移植至其他嵌入式平台。有技术爱好者指出,类似思路或可延伸至Xbox One、Nintendo Switch等越狱设备,甚至老旧PC的独立显卡(如Radeon R9 290X),为“电子垃圾再利用”提供新范式。
不过,硬件限制依然明显:PS4的CPU为八核Jaguar架构(主频1.6GHz),内存带宽仅176GB/s,远低于现代设备;模型压缩必然伴随精度损失,复杂推理任务(如长文档摘要、多跳推理)表现尚待验证。此外,持续高负载运行可能导致散热压力上升,长期使用需注意通风。
从行业视角看,Garlic LLM代表了一种“逆向创新”路径——当主流AI研发聚焦于更大模型与更强算力时,部分开发者正转向极致优化现有硬件的潜力边界。这与TinyML、MicroLLM等轻量化方向形成互补:前者追求“小而快”,后者追求“大而精”。两者共同推动AI从数据中心走向终端设备。
目前,该项目尚未商业化意图,纯粹出于技术探索与社区共享目的。开发者明确表示,Garlic LLM旨在证明“老设备仍有生命力”,并鼓励更多人参与底层优化实践。对于普通用户而言,它或许只是实验室里的奇观;但对于硬件极客与AI教育者来说,这是一次难得的“软硬协同”教学案例——用一台游戏机,跑起一个能解释瑞利散射原理的AI助手,本身就是技术浪漫主义的具象体现。
