Qwen4 27B推理内核代码登陆GitHub 揭示四路残差与FP8 INT4部署方案

阿里云尚未正式发布Qwen4，但其27B参数稠密模型（Qwen4-27B）的推理内核代码已提交并合并至英特尔vLLM XPU Kernels主干分支（PR #22），由开发者hzjane完成，含56个文件变更，明确标注“qwen4-27b”，为Qwen3.8-Flash-Next及Qwen4提供底层算子支持。该披露罕见地公开了未发布模型的工程细节，包括张量尺寸、注意力机制、残差结构与量化路径。代码确认Qwen4-27B延续Dense路线，参数量270亿，隐藏层维度5120，与Qwen3.8-27B兼容；核心升级包括四路Hyper-Connections残差流、Sigmoid输出门控及QSA稀疏注意力模块，技术源自8月发布的Qwen3.8-Flash-Next（125B MoE预览版），显示阿里正将新架构同步应用于Dense与MoE模型。部署方面，支持TP2 FP8与TP1/TP2 INT4量化，SYCL/SYCL-TLA内核适配英特尔B70等专业卡；INT4下27B权重理论体积约13.5GB，旨在实现单设备低显存运行。实测中，8卡B70上32K输入首Token延迟FP8配置从37.41秒降至21.84秒，降幅42%。llama.cpp开发者逆向分析指出，当前模型未启用QSA权重与MTP组合，端到端验证尚未完成，仍处推理算子开发阶段。事件反映大模型研发节奏加快与生态协同深化：硬件适配前置成行业常态，开源社区通过工程反推补全闭源模型拼图；同期DeepSeek开源DeepInfer框架、openJiuwen联合InferRSI在昇腾NPU优化Qwen系列，均凸显推理链路全栈优化成为新竞争焦点。结合云栖大会“Qwen4已进入训练阶段”信息及PR时间点，正式发布或临近。