RLHF中的奖励模型如何工作，从人类偏好到可优化分数的转化机制

2022 年底 ChatGPT 的爆发式流行背后，有一项关键技术被广泛认为是其对话质量跃升的关键——基于人类反馈的强化学习（RLHF）。这项技术并非凭空出现，而是源于 OpenAI 在 2022 年 3 月发表的 InstructGPT 论文。该论文首次系统性地展示了如何将人类对模型输出的偏好信号转化为可训练的数学目标，使一个仅 1.3B 参数的模型在人类评估中超越了 175B 参数的原始 GPT-3。而在这套三步流程中，第二步——奖励模型（Reward Model, RM）的构建，正是连接人类直觉与机器优化的核心桥梁。

监督微调（SFT）虽能教会模型按指令生成文本，但存在明显局限：标准答案唯一性压制多样性、负样本覆盖不全、以及难以量化“好”与“更好”的细微差别。RLHF 的突破在于转换思路——不再要求人类写出完美答案，而是请他们判断哪一版回答更优。这种“比较优于创作”的标注范式大幅提升了数据获取效率与一致性。

InstructGPT 的 RLHF 流程分为三阶段：首先以约 1.3 万个 prompt 进行 SFT 冷启动；其次，用 SFT 模型为同一批 prompt 生成多个候选回答（每条 prompt 对应 4–9 个），由约 40 名标注员对这些回答进行完整排序；最后，基于排序结果训练奖励模型，并以此为信号，通过 PPO 算法对策略模型进行强化学习优化。

奖励模型的训练数据本质上是成对偏好三元组：{prompt, chosen, rejected}。例如针对问题“怎么给六岁的孩子解释登月？”，标注员可能选出“宇航员坐着一种叫火箭的飞船……”为优选回答，而将“登月是指载人航天器着陆月球……”标记为次优。实际操作中，标注员通常对一组 4–9 个回答进行全序排列，再将其拆解为多组两两对比用于建模。

关键问题在于：如何将这种离散的、非数值化的偏好转化为连续、可微分的奖励信号？答案来自一个诞生于 1952 年的经典统计模型——Bradley-Terry 模型。该模型假设每个回答具有一个隐含的“质量得分”θ，两个回答 A 和 B 之间被选中的概率满足：

P(A ≻ B) = σ(θ_A − θ_B)

其中 σ 是 sigmoid 函数。这意味着，若 A 被选为优于 B，则模型会期望 θ_A > θ_B；反之亦然。通过最大化所有偏好对的似然函数，即可拟合出每个回答对应的标量分数 r = θ，即奖励值。

这一建模方式巧妙地将人类主观判断转化为可优化的目标函数。在训练时，奖励模型接收 prompt 和对应回答作为输入，输出一个实数评分。例如，当输入“中国的首都是哪里？”时，若回答为“北京”，模型给出 8.2 分；若回答为“上海”，则仅得 3.1 分。这种差异不仅反映正误，更体现语言风格、准确性与适切性的综合权衡。

进一步地，奖励模型的损失函数设计直接关联 Bradley-Terry 概率。对于一对 (chosen, rejected)，其偏好概率为 P(chosen ≻ rejected) = σ(r_chosen − r_rejected)。为使该概率尽可能接近 1（即模型确信 chosen 更好），采用负对数似然作为损失：

当 r_chosen − r_rejected = +5 时，σ(5) ≈ 0.993，损失 L ≈ 0.007，属于低损失状态；而当差值为 −5 时，σ(−5) ≈ 0.007，损失高达约 4.99，触发强梯度更新。这正是奖励模型能精准捕捉“好”与“坏”边界的关键机制——它不是简单判别对错，而是学习人类对质量梯度的敏感度。

值得注意的是，奖励模型本身通常采用与策略模型相同的架构（如 GPT-style decoder-only transformer），仅在最后一层替换为回归头输出标量分数。其训练独立于后续的 PPO 阶段，且不更新策略模型参数，因此可视为一个“评判者”角色。这种解耦设计既保证了训练稳定性，也便于迭代优化：当发现奖励模型存在偏差（如过度偏好冗长回答），可单独重新收集偏好数据并微调 RM，而不必重训整个策略链。

在工业实践中，奖励模型的质量直接决定 RLHF 效果上限。早期版本常因偏好数据噪声或标注者分歧导致奖励坍缩（reward hacking）——模型学会生成看似高分但实质空洞或取巧的回答。为此，后续研究引入了多种改进：如使用多奖励模型集成、加入拒绝样本的显式惩罚项、结合规则过滤器约束输出空间等。DeepSeek、Anthropic 等机构也在其 RLHF pipeline 中加入了“宪法式”约束，确保奖励信号不仅反映有用性，还内嵌安全性与诚实性。

尽管 RLHF 已成为当前对齐大模型的主流范式，其依赖高质量人类偏好数据的特性仍构成瓶颈。标注成本高、跨文化偏好差异、以及对复杂推理任务的评判模糊性，都限制了其可扩展性。近期部分工作尝试用 AI 替代部分人工标注（如使用更强模型生成偏好数据），但由此引发的“模型幻觉闭环”风险尚未完全解决。

归根结底，奖励模型的价值不在于它多么复杂，而在于它成功搭建了一条从人类价值判断通往模型参数更新的可行路径。它让大模型不再只是文本续写器，而逐步具备理解“什么是好回答”的能力——即便这种理解仍是统计意义上的近似。随着偏好建模方法持续演进，RLHF 的底层逻辑或将被更高效、更鲁棒的技术替代，但其揭示的核心原则——对齐需以可量化反馈为中介——仍将长期指导大模型的发展方向。