网通社科技快报
百度开源文心5.5 Flash Base 280B参数仅激活14B支持1M上下文
百度于2026年11月5日正式开源其最新基础大模型ERNIE 5.5 Flash Base（中文名：文心5.5 Flash Base）。该模型为纯文本基座模型，总参数量280B，采用混合专家（MoE）稀疏架构，单token激活参数仅14B，显著降低推理开销。模型从零开始，在33.5万亿token上完成预训练，训练阶段最大上下文长度128K，推理阶段扩展至100万token。
架构层面，模型引入低秩门控注意力机制，将门投影参数压缩至原方案的四分之一；新增ECHO模块（额外0.36B参数，未计入280B总参），配合Manifold-constrained Hyper-Connections（mHC）结构与MultiMax输出头；并推出FlashMask-4注意力加速方案，在SM100硬件上前向计算最高提速175%，反向传播提速74%。训练使用Muon优化器以提升分布式训练稳定性。
模型共43层Transformer结构，隐藏层维度4096，64个注意力头。在30项基准测试中覆盖综合能力、知识问答、理科推理、逻辑推演、多语言理解、代码生成与长上下文七大类任务，官方称其在同尺寸模型中表现领先，尤其在推理、代码与学科任务中优势明显。目前已开放BF16与FP8精度权重，托管于Hugging Face，并提供vLLM插件支持。
该模型定位为高效率纯文本基座，与多模态版本形成互补，体现百度“重效率、强工程”的技术路线。开源同步发布技术博客、社区文档与推理工具链，旨在推动开发者生态共建。作为国产大模型精细化竞争的关键落子，文心5.5 Flash Base聚焦算力约束下的效能最大化，为需长上下文与强推理能力的应用提供高性价比基座选择。
架构层面，模型引入低秩门控注意力机制，将门投影参数压缩至原方案的四分之一；新增ECHO模块（额外0.36B参数，未计入280B总参），配合Manifold-constrained Hyper-Connections（mHC）结构与MultiMax输出头；并推出FlashMask-4注意力加速方案，在SM100硬件上前向计算最高提速175%，反向传播提速74%。训练使用Muon优化器以提升分布式训练稳定性。
模型共43层Transformer结构，隐藏层维度4096，64个注意力头。在30项基准测试中覆盖综合能力、知识问答、理科推理、逻辑推演、多语言理解、代码生成与长上下文七大类任务，官方称其在同尺寸模型中表现领先，尤其在推理、代码与学科任务中优势明显。目前已开放BF16与FP8精度权重，托管于Hugging Face，并提供vLLM插件支持。
该模型定位为高效率纯文本基座，与多模态版本形成互补，体现百度“重效率、强工程”的技术路线。开源同步发布技术博客、社区文档与推理工具链，旨在推动开发者生态共建。作为国产大模型精细化竞争的关键落子，文心5.5 Flash Base聚焦算力约束下的效能最大化，为需长上下文与强推理能力的应用提供高性价比基座选择。