CMU提出统一大模型训练框架，将预训练、SFT与RL整合为单一数据驱动流程

大模型训练正面临一个结构性瓶颈：预训练、中期训练（midtraining）、监督微调（SFT）和强化学习（RL）被普遍视为四个独立阶段，每个阶段需切换数据源、目标函数乃至训练代码库。这种割裂不仅增加工程复杂度，还导致能力遗忘、阶段间性能波动等“玄学问题”。近期，卡内基梅隆大学（CMU）、约翰霍普金斯大学（JHU）与Aurora Innovation合作发表论文《Unified Training of Large Language Models》，提出一种根本性重构方案——将全部训练流程统一为单一算法框架，仅通过调节数据来源与混合比例即可完成全周期训练。

该研究的核心洞见在于：传统四阶段训练中，预训练、midtraining与SFT实际共享同一损失函数——最大似然估计（MLE），区别仅在于输入数据分布不同；而RL看似特殊，实则可通过一类称为MaxRL的目标函数转化为对“模型自身成功生成答案”的MLE拟合。

具体而言，MaxRL机制要求模型对每道可自动判分的任务生成多个候选答案，系统筛选出得分合格的答案样本，并以“1/任务通过率”作为权重进行加权MLE更新；失败样本则不参与梯度计算。例如一道通过率仅10%的难题，若模型答对，则该样本权重为10；而通过率100%的简单题，答对样本权重仅为1。这一设计天然赋予高难度正确样本更高学习优先级，同时规避了传统RL中复杂的advantage估计与奖励归一化步骤。

由此，整个训练过程被抽象为一个统一的数据混合问题：每类数据源（通用语料、领域教材、标注示范、自生成答案）均可表示为“提示分布 + 目标分布”的配对，并赋予动态权重λ。所谓“分阶段训练”，不过是将某类数据权重临时设为100%的极端情况；而统一训练允许所有数据源并行存在，权重随训练进程平滑调整——例如在预训练后期逐步引入midtraining语料，在RL阶段掺入静态语料以防止通识能力退化。

为支撑该理论落地，研究团队构建了一套轻量级异步训练系统，包含两个核心组件：

生成器：基于模型近期副本，持续采样任务、生成答案、调用自动评分器，并将带权重的成功样本写入共享缓冲区；
训练器：从缓冲区随机采样批次，执行标准加权交叉熵更新，无需任何特殊模块或损失层。

两者通过周期性权重同步保持一致性，整体训练循环仅含一个前向-反向传播流程。该系统已开源，代码托管于GitHub（yudasong/unified-training），配套模型发布于Hugging Face（sfanm/unified-training）。

实验部分采用124M参数小模型在可控环境下验证框架有效性。训练预算固定为20B token通用语料+510M token midtraining语料，任务为可自动判分的逻辑推理谜题。结果表明：在Base、Extended及扩展泛化设定下，统一训练均显著优于最优分阶段策略。尤为值得注意的是，统一训练在预训练阶段混入更多midtraining数据时，最终RL性能反而提升——而分阶段训练中过早引入midtraining常导致后续RL精度下降。

图1显示，在累计计算量（FLOPs）对数尺度下，统一训练（蓝色实线）的准确率与覆盖度均持续领先分阶段训练（灰色虚线），尤其在高算力区间优势扩大。

进一步分析midtraining数据注入时机的影响发现：当midtraining token占比从3%增至48%，统一训练在基础任务（Pass@1）上呈现稳定上升趋势；而分阶段训练在约12%后即出现平台期甚至回落。在扩展泛化任务中，统一训练优势更为显著——最高达12%绝对提升（图2左至右三子图）。

另一关键指标是知识保留能力。研究使用held-out pretraining loss（预留预训练语料上的困惑度）衡量模型是否遗忘早期学到的通用语言模式。结果显示：随着midtraining token增加，分阶段训练的困惑度快速上升（即遗忘加剧），而统一训练几乎维持平稳，说明其能更高效地复用已有知识结构（图3左图）。

在通用基准测试（如MMLU、BIG-bench等）上，统一训练模型在2.14B token总训练量下平均得分达42.3%，高于仅预训练模型（41.8%）与分阶段训练（41.5%），且全程未出现性能震荡（图3右图）。

该工作并非首次尝试统一训练流程，但其创新性在于：第一，从算法本质层面论证四阶段同构性，而非仅工程层面拼接；第二，将RL完全纳入MLE框架，消除了传统RL的高方差与超参敏感问题；第三，系统设计极简，仅依赖现有深度学习框架即可部署，降低了落地门槛。

当前行业主流仍依赖阶段式训练管线，如Meta的Llama系列、OpenAI的GPT迭代均采用明确分段策略。尽管部分团队已探索混合训练（如Google的Gemini采用SFT+RL并行），但尚未形成理论闭环。CMU方案提供了一个更具解释性与可调性的替代路径：训练不再是一系列“开关操作”，而是一个连续的数据配比优化问题。

值得指出的是，该框架对数据质量高度敏感——自生成答案的判分准确性直接决定RL信号质量，因此适用于有可靠自动评估机制的任务场景（如数学推理、代码生成、逻辑谜题），尚不适用于开放域对话等缺乏客观评价标准的任务。此外，异步生成器需额外计算资源，虽不影响主训练吞吐，但在资源受限场景可能构成负担。

开源实现已支持PyTorch生态，用户只需定义各类数据源及其混合调度表，即可启动端到端训练。项目文档提供了针对数学推理与代码任务的完整配置示例，便于研究者快速复现与扩展。

大模型训练正从“经验驱动”转向“原理驱动”。当预训练、SFT与RL不再被视作互斥阶段,而是同一优化目标下的数据配置变量，训练工程的复杂度有望系统性降低。CMU的这项工作为此提供了首个严谨且可落地的理论-系统闭环，其影响或将延伸至模型压缩、持续学习与多模态对齐等更广泛方向。