百度开源文心5.5FlashBase，280B总参数仅激活14B，支持1M长上下文

百度于2026年11月5日正式开源其最新基座大模型——ERNIE 5.5 Flash Base（中文名：文心5.5 Flash Base）。该模型采用混合专家（MoE）稀疏架构，总参数量达2800亿（280B），但处理每个token时仅激活其中140亿（14B）参数，显著降低单次推理计算开销。模型从零开始，在33.5万亿（33.5T）个token上完成预训练，训练阶段最大上下文长度为128K，微调与推理阶段则扩展至100万（1M）token，具备处理超长文本的能力。

作为纯文本基础模型，ERNIE 5.5 Flash Base共43层Transformer结构，隐藏层维度为4096, 配备64个注意力头。其核心目标是在保持大模型容量的同时提升推理效率，这一定位契合当前大模型发展的主流趋势：从“堆参数”转向“精结构”。

在架构层面，该模型进行了多项针对性改造。首先，注意力机制引入低秩门控设计，将门投影（gate-projection）参数削减至原方案的四分之一。这一改动通过低秩表示替代完整线性投影，在维持信息流动控制能力的前提下压缩非核心参数。其次，模型新增ECHO模块（额外增加0.36B参数，未计入280B总参数口径），并采用Manifold-constrained Hyper-Connections（mHC，流形约束超连接）结构，扩展率为4，配合MultiMax输出头。尽管官方未披露各模块的具体贡献值或消融实验，但从行业实践看，此类设计普遍服务于提升专家路由效率与输出稳定性。

另一项关键创新是FlashMask-4注意力加速方案。该方案针对SM100硬件平台（NVIDIA GPU计算架构）优化，在前向计算中相较FlashAttention-4 MaskMod最高提速175%，反向传播提速74%。该数据来自百度内部测试，尚待第三方验证，但若属实，将对高吞吐推理场景带来实质性收益。

在训练算法上，ERNIE 5.5 Flash Base采用Muon优化器——近年来在大模型训练中逐渐兴起的一种自适应优化方法，其优势在于对梯度噪声更鲁棒、收敛更稳定。百度未说明选用该优化器的具体原因，但结合其强调“系统级效率”的整体策略，可推测其旨在提升大规模分布式训练的稳定性与资源利用率。

评测方面，百度团队在统一框架下对模型进行了30项基准测试，覆盖综合能力、知识问答、理科推理、逻辑推演、多语言理解、代码生成及长上下文处理七大类任务。根据公开信息，该模型在与DeepSeek-V4-Flash-Base（284B总参/A13B激活）、Hy3-preview-Base（295B/A21B）及MiMo-V2.5-Base（310B/A15B）等同尺寸模型的对比中，取得多个维度领先，被官方称为“同尺寸SOTA”（State-of-the-Art）。尤其在推理、代码与学科类任务中表现突出，长上下文任务亦具竞争力。不过需注意，百度未公布具体得分或逐项对比数据，外部研究者尚未发布独立评测结果，实际性能仍待社区进一步验证。

部署路径方面，模型已开放BF16与FP8精度权重，托管于Hugging Face平台（链接：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base 及 https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16）。推理服务推荐使用vLLM框架（≥0.32.0版本），并需搭配百度开发的vLLM-ERNIE插件以支持MoE路由与FlashMask-4特性；SGLang社区亦提供Cookbook适配指南。这意味着开发者可快速接入现有开源推理生态，降低部署门槛。

从技术路线看，文心5.5 Flash Base延续了国产大模型近年“重效率、强工程”的演进逻辑。相比早期追求绝对参数规模的阶段，当前竞争焦点已转向如何在同等算力预算下最大化模型效能。MoE架构本身并非新概念，但百度通过组合低秩门控、mHC连接、ECHO模块与FlashMask-4等组件，构建了一套协同优化体系：既压缩KV Cache占用（对长上下文至关重要），又保障专家路由精度与输出质量。

值得注意的是，该模型未集成多模态能力，定位明确为“纯文本基座”，与文心系列此前发布的图文/视频多模态版本形成互补。这也反映出百度在模型产品线上的分层策略：基础模型专注语言能力打磨，应用层再叠加领域适配与多模态扩展。

在开源节奏上，百度此次动作迅速且完整：模型权重、推理插件、技术博客、社区适配文档同步上线，体现出对开发者生态的重视。相较部分厂商仅发布API或闭源模型的做法，此举有助于吸引研究者参与二次开发与能力验证，长期看有利于构建围绕文心模型的技术共同体。

行业层面，随着DeepSeek、字节、阿里、腾讯等厂商陆续推出百亿至千亿级MoE基座模型，国产大模型已进入“精细化内卷”阶段。参数规模趋近天花板后，效率、长上下文、代码能力、推理延迟等指标成为新的竞争标尺。ERNIE 5.5 Flash Base的发布，标志着百度在该赛道上完成了关键卡位——它未必是参数最大的模型，但很可能是当前同尺寸下计算效率最优的候选之一。

目前，该模型已在GitHub与Hugging Face获得初步关注，社区反馈聚焦于vLLM插件兼容性、FP8量化稳定性及长上下文实测表现。后续若能涌现第三方评测（如LM Evaluation Harness标准测试、BigCode Bench代码评估等），将更清晰揭示其真实水平。

开源不等于终点。模型的实际价值最终取决于能否被有效集成到应用中。百度下一步或将推动其在搜索、文心一言、企业智能客服等场景落地，并通过持续微调与指令对齐提升实用性。对于开发者而言，ERNIE 5.5 Flash Base提供了一个高性价比的超大规模基座选项——尤其适合需要长上下文与强推理能力、又受限于算力预算的项目。