百度开源文心5.5FlashBase，2800亿参数MoE模型在30项基准测试中刷新同尺寸SOTA
11月5日，百度正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），总参数2800亿，每Token激活140亿参数，预训练数据达33.5万亿Token，支持百...
11月5日，百度正式开源其最新基座大语言模型——文心5.5 Flash Base（ERNIE 5.5 Flash Base）。作为一款稀疏混合专家（MoE）架构的高效基座模型，它以2800亿总参数、每Token激活140亿参数的配置，在33.5万亿Token规模上完成从零预训练，并在30项权威基准测试中全面超越DeepSeek-V4-Flash-Base、Hy3-preview-Base与MiMo-V2.5-Base等同尺寸开源模型，刷新多项同规模SOTA纪录。
与面向终端用户的对话模型不同，Base模型定位为开发者与企业构建垂直应用的“技术底座”。此次开源的ERNIE-5.5-Flash-Base未经指令微调或强化学习后训练，保留了原始预训练权重，可直接用于领域适配、指令微调（SFT）与强化学习人类反馈（RLHF）等下游任务，降低专业模型定制的技术门槛与训练成本。
模型能力提升的背后，是百度在架构设计与训练系统上的协同创新。在注意力机制层面，文心5.5 Flash Base提出Latent-Gated Sparse Attention（LGS-Attention），融合三种子机制：混合稀疏注意力（HSA）、低秩门控注意力（Low-Rank Gated Attention）与虚拟头注意力（Virtual Head Attention, VHA）。其中，HCA与MLA组合分工明确——前者压缩历史信息，后者实现细粒度位置访问；低秩门控将门控投影权重参数减少75%；VHA则在不增加推理开销的前提下增强表达力，其计算可在推理阶段融合进主注意力算子。
专家路由方面，模型采用Multi-Router Latent MoE结构，由多个独立路由器共同决策专家选择，有效缓解单一路由器评分偏差带来的专家分配失准问题，同时维持激活专家数、计算量与通信量不变。这一设计提升了专家利用效率，使模型在有限激活参数下仍能保持高表达能力。
训练目标上，百度引入ECHO（Early Context Hierarchical Optimization）机制：复用主干网络最后一层作为预测头，让模型在预训练阶段即学习预测后续Token序列走向，无需额外部署MTP（Multi-Token Prediction）模块。实验证明，仅单步ECHO预训练即可显著提升推理与代码生成能力；更关键的是，该复用层还可作为投机解码（Speculative Decoding）的草稿模型，展现出优于传统辅助MTP的多步外推质量。
除算法创新外，训练基础设施亦同步升级。百度优化了分布式Muon优化器，在数千张GPU卡规模下将Dense与MoE参数的跨机通信合并为一次集合通信，大幅降低时延抖动；同时推出面向大head dimension的专用注意力算子FlashMask-4，基于CuTe-DSL开发，支持SM90/SM100架构，qk维度最高达576、v维度达512，可直接服务于HCA层512维宽头计算需求。
预训练语料构建同样体现系统性：覆盖多语言网页、高质量代码仓库及天然长文档三大方向。其中，代码数据不仅包含原始源码，还整合commit记录、issue讨论、pull request评审、自动生成测试用例及经CI验证的修复补丁，形成软件演化闭环；长文数据则通过混入语义干扰文本、合成检索增强问答与多跳推理任务，强化模型对复杂长序列的理解与推理能力。
在评测维度，百度在统一评估框架下对ERNIE-5.5-Flash-Base进行了30项测试，涵盖综合能力（MMLU、CMMLU）、知识（SimpleQA、ChineseSimpleQA）、STEM（GPQA、MGSM）、推理（BBH、PIQA）、多语言（MMMLU-lite、INCLUDE-lite）及长上下文（HELMET-RAG、LongBench-v2）七大类。结果显示，该模型在几乎所有指标上均优于其他三款同规模开源Base模型，尤其在长上下文任务中表现突出——尽管其43层网络中有37层采用128倍压缩的稀疏注意力，但6层MLA-DSA结构已足以支撑高精度细粒度检索。
值得注意的是，文心5.5 Flash Base的预训练上下文长度达128K，微调与推理阶段支持最长100万Token输入，为处理超长文档、法律合同、科研论文等场景提供底层支撑。当前大模型应用正从简单问答向长文档分析、多轮交互与智能体任务延伸，对模型的信息承载与计算效率提出更高要求。在此背景下，“效率优先”成为新一代基座模型的核心设计逻辑。
开源地址已同步开放至Hugging Face平台，提供FP8与BF16两种精度版本：
- FP8版：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
- BF16版：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
此外，百度还提供了基于Megatron-Bridge的微调示例代码，便于研究者快速开展二次开发。官方强调，本次开源仅为起点，经过指令微调与对齐优化的完整版ERNIE 5.5 Flash模型将在后续发布。
行业观察指出，随着大模型竞争进入深水区，单纯堆叠参数已非最优路径。头部厂商正转向“能力-效率-场景”三位一体的发展范式：一方面通过MoE、稀疏注意力等技术压降计算开销；另一方面强化长上下文、代码与多语言等实用能力；最终落脚于降低开发者使用门槛，推动模型从实验室走向产业落地。文心5.5 Flash Base的开源，正是这一趋势的典型实践——它不仅提供了一个高性能基座，更展示了国产大模型在系统级工程优化上的持续突破能力。
