CMU等机构统一四阶段大模型训练 仅用一个加权似然损失实现全流程整合

卡内基梅隆大学（CMU）、约翰霍普金斯大学（JHU）与Aurora Innovation合作发表论文《Unified Training of Large Language Models》，提出一种统一大模型训练框架，将预训练、中期训练（midtraining）、监督微调（SFT）和强化学习（RL）四个阶段整合为单一算法流程。其核心在于证明四阶段本质均为带权最大似然估计（MLE）：预训练、midtraining与SFT共享标准MLE，而RL可通过MaxRL机制转化为对“成功生成答案”的加权MLE——模型对可自动评分任务生成多候选答案，系统筛选合格样本并以1/任务通过率为权重进行更新，高难度正确样本获得更高学习优先级，规避传统RL的advantage估计与奖励归一化问题。

整个训练被抽象为数据混合优化问题：每类数据源（通用语料、领域教材、标注示范、自生成答案）表示为“提示-目标”配对并赋予动态权重λ；所谓分阶段训练仅是某类数据权重设为100%的特例，统一训练则允许所有数据并行存在、权重平滑调整。为支撑落地，团队构建轻量异步系统：生成器基于模型副本持续采样、生成、评分并写入带权成功样本至缓冲区；训练器从中随机采样批次执行标准加权交叉熵更新，全程仅需一次前向-反向传播。

实验采用124M参数模型在20B token通用语料+510M token midtraining语料下验证，任务为可自动判分逻辑推理题。结果表明：统一训练在Base、Extended及扩展泛化设定下均显著优于最优分阶段策略；当midtraining token占比从3%增至48%，其Pass@1准确率稳定上升，而分阶段训练在约12%后即平台甚至回落；扩展泛化任务最高提升12%绝对准确率；知识保留方面，统一训练在预留预训练语料上的困惑度几乎平稳，分阶段则快速上升；在MMLU等通用基准上，2.14B token总训练量下平均得分达42.3%，高于仅预训练（41.8%）与分阶段（41.5%），且无性能震荡。

该方案创新性在于：从算法本质论证四阶段同构性；将RL完全纳入MLE框架，降低方差与超参敏感性；系统极简，仅依赖现有深度学习框架即可部署。当前开源代码已支持PyTorch生态，提供数学推理与代码任务配置示例。局限在于依赖可靠自动评估机制，适用于数学、代码等有客观判分场景，尚不适用于开放域对话。