RLHF奖励模型如何将人类偏好转化为可优化分数基于BradleyTerry模型的三步对齐机制

RLHF技术已成为大模型对齐的核心路径，其关键在于第二阶段——奖励模型（RM）的构建。该流程始于监督微调（SFT），以约1.3万个prompt冷启动模型；随后，SFT模型为每条prompt生成4–9个候选回答，由标注员进行全序排序，形成{prompt, chosen, rejected}偏好三元组。核心突破在于将定性偏好转化为可优化数值：采用1952年提出的Bradley-Terry模型，假设每个回答具有隐含质量得分θ，通过P(A≻B)=σ(θ_A−θ_B)建模选择概率，最大化似然函数拟合出标量奖励r=θ. 训练时，损失函数采用负对数似然，当r_chosen−r_rejected=+5时损失仅0.007, 差值为−5时损失达4.99, 实现对质量梯度的精准捕捉. 奖励模型通常复用策略模型架构（如GPT-style decoder-only transformer），仅替换末层为回归头输出实数评分，独立训练且不更新策略参数，保障稳定性与可迭代性. 实践中，RM质量决定RLHF上限，早期存在奖励坍缩问题，后续引入多模型集成、拒绝样本惩罚、规则过滤及“宪法式”约束（如DeepSeek、Anthropic方案）提升安全性与诚实性. 尽管依赖高成本人工标注构成瓶颈, RLHF仍成功搭建了从人类价值判断到模型参数更新的可行通路，使大模型逐步具备统计意义上的“好回答”判别能力.