DPO与GRPO如何重构大模型偏好对齐，绕过奖励模型的两条技术路径

大语言模型从“能生成”走向“会对话”，关键一步是偏好对齐——让模型输出符合人类价值观与实用需求的回答。早期主流方案RLHF（基于人类反馈的强化学习）虽由OpenAI在InstructGPT中验证可行，但其依赖奖励模型与PPO算法的复杂链路，暴露出显存开销大、超参敏感、训练不稳定及易被“奖励黑客”攻击等问题。这些痛点促使研究者探索更高效的技术路径，其中DPO（Direct Preference Optimization）与GRPO（Generalized Reinforcement Policy Optimization）成为近年最受关注的两种替代方案。

DPO由斯坦福大学Rafael Rafailov等人于2023年在NeurIPS提出，其核心突破在于揭示了一个关键数学事实：语言模型本身可隐式建模奖励函数。论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》指出，给定偏好数据集（如每条prompt对应一个更优回答y₁和一个次优回答y₂），最优策略π*与奖励函数r(x, y)之间存在闭式关系——即无需显式训练奖励模型，仅通过策略模型自身的对数概率比即可反推出奖励值。

具体而言，RLHF中PPO的优化目标为最大化期望奖励并约束KL散度：

$$

\max_\pi \mathbb{E}_{x\sim D, y\sim \pi} \left[ r(x,y) - \beta \cdot \text{KL}(\pi(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x)) \right]

$$

该目标的最优解可解析表达为：

$$

\pi^*(y|x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y|x) \exp\left(\frac{1}{\beta} r(x,y)\right)

$$

其中Z(x)为归一化常数。对等式两边取对数后移项，即可将奖励函数表示为策略模型与参考模型的概率比：

$$

r(x,y) = \beta \log \frac{\pi(y|x)}{\pi_{\text{ref}}(y|x)} + \text{const}(x)

$$

这意味着，只要固定参考模型π_ref，训练策略模型π时可直接用偏好对(y₁, y₂)构造损失函数，而不再需要独立训练奖励模型。DPO的实际损失函数形式为：

$$

\mathcal{L}_{\text{DPO}} = -\log \sigma\left( \beta \log \frac{\pi(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right)

$$

其中σ为sigmoid函数，y_w为胜出回答，y_l为败选回答。该损失等价于对偏好对进行二分类，本质是将强化学习问题转化为监督学习任务。

这一转变带来显著工程优势：训练时仅需策略模型与冻结的参考模型，显存占用减少约50%；无需单独训练奖励模型，链路缩短为SFT+DPO两步; 超参更少，主要仅需调节β（控制偏好强度）；且因无独立奖励模型，从根本上规避了“奖励黑客”风险——策略无法通过欺骗外部模型获取虚假高分。

尽管DPO在对话模型微调中表现优异，但在需要强推理能力的任务上仍显不足。例如DeepSeek-R1等专注于数学与代码推理的模型，其对齐目标不仅是“更自然”，更是“更正确”。此时，PPO的灵活性仍有价值，但其工程成本必须降低。

GRPO（Generalized Reinforcement Policy Optimization）应运而生。它并非完全抛弃PPO，而是对其关键组件进行精简与重构：首先取消价值函数网络（Value Network），改用任务特定的奖励信号（如代码执行结果、数学答案是否正确）直接计算优势函数；其次，将KL惩罚替换为更稳定的正则项或动态调整机制；最后，采用更鲁棒的策略更新方式，避免传统PPO中clip操作引发的梯度突变。

与DPO不同，GRPO保留了强化学习框架，因此更适合需要长期规划与多步推理的场景。例如在DeepSeek-R1的训练中，模型需逐步推导数学证明或调试代码逻辑，单一偏好对难以捕捉完整决策过程，而GRPO可通过任务级奖励（如最终输出是否通过测试用例）提供更丰富的反馈信号。

值得注意的是，GRPO常与RLVR（Reinforcement Learning with Value-free Rewards）结合使用，后者进一步去除价值估计环节，直接以任务奖励构建优势函数，使整个流程更接近“监督式强化学习”。这种组合在推理密集型模型训练中展现出高稳定性与收敛速度。

从技术演进脉络看，DPO与GRPO代表了偏好对齐的两个互补方向：DPO追求极简与普适，适用于通用对话模型的快速迭代；GRPO强调可控与精准，服务于高难度推理任务的深度优化。二者共同削弱了对奖励模型的依赖，推动对齐训练从“三阶段黑盒流程”转向“两阶段可解释优化”。

行业层面，这一转变已产生实际影响。Hugging Face自2023年底起将DPO纳入Transformers库标准工具链；Meta在Llama 3微调中部分采用DPO变体；而DeepSeek、智谱等中国团队则在推理模型中广泛验证GRPO有效性。开源社区涌现出大量基于DPO的轻量级对齐方案，如trl库中的DPOTrainer，大幅降低了中小团队复现高质量对齐模型的门槛。

不过，两类方法亦有局限。DPO依赖高质量偏好对数据，若数据存在系统性偏差（如过度偏向简洁回答），模型可能继承该偏见；GRPO虽更灵活，但仍需设计合理任务奖励，对非结构化任务（如创意写作）适配难度较高。此外，两者均未彻底解决“人类偏好本身不一致”的根本难题——不同标注者对同一回答的评分常存在显著分歧。

未来趋势上，研究者正尝试融合二者优势：例如在初始阶段用DPO快速对齐基础行为，再以GRPO进行细粒度推理能力强化；或引入隐式奖励建模（Implicit Reward Modeling），在不显式训练RM的前提下动态估计奖励。随着偏好数据构建成本下降与合成数据技术成熟，偏好对齐有望进一步标准化与自动化。

当前，DPO已成为对话模型微调的事实标准之一，而GRPO则在专业推理领域持续拓展边界。它们共同标志着大模型训练从“依赖人工反馈闭环”向“数据驱动直接优化”的关键跃迁。