RLHF 奖励模型的训练数据如何构建？

核心回答

RLHF奖励模型的数据通常是同一prompt或上下文下的多条候选回答，以及人类对它们的偏好比较或排序。先按业务目标定义标注维度，再采样有质量差异的回答，进行盲评、复核和去重，最终形成(prompt, chosen, rejected)等比较样本。它学习相对偏好，不是简单把SFT标准答案换成一个分数。

数据要覆盖真实任务、困难负例、合理拒答和边界，并与验证、测试按prompt来源或语义簇隔离。模型评审可以辅助扩充，但必须校准，避免奖励模型只学到长度、文风或模板等捷径。

构建流程

1. 从合规业务请求、人工任务与受控合成任务取得prompt，清理敏感信息，明确完整上下文、工具证据和评分要求。
2. 用SFT模型、不同检查点或不同采样设置生成候选，保留生成版本。既包含明显好坏，也包含语义相近、质量差异细微的困难比较。
3. 制定正确性、帮助性、约束遵循和安全等规则。标注者看不到模型身份，候选顺序随机化；需要外部事实或执行结果时提供证据，不让标注变成凭文风猜。
4. 对分歧、高风险和低置信样本复核或仲裁；平局、不可比较和证据不足单独记录，不强行制造二元偏好。
5. 检查重复、模板泄漏、长度与标签相关性，按任务和错误类型分桶，留出独立prompt及来源评估泛化。

从偏好到训练目标

常见Bradley–Terry式目标把奖励差经过sigmoid，估计人更偏好chosen的概率：

P(chosen优于rejected) = sigmoid(r_chosen - r_rejected)
L = -log P

两者奖励相同，预测概率为0.5，损失约0.693；chosen比rejected高1时，概率约0.731，损失约0.313。绝对奖励平移不改变这项损失，原始分值不是天然校准的成功概率。

若一题有4个候选，全排序可产生6个比较对，但它们高度相关，不能当成6条独立任务随机拆到训练和测试，也要控制重复比较带来的过拟合。

如何检查数据和RM有效

在留出比较集上看偏好准确率、分桶一致性和长度偏置，同时抽查高分错误回答。最终还要观察策略优化后真实任务质量是否提高；奖励模型在静态比较集得分高，不保证被策略反复优化时不会被利用。

正确性可程序验证的任务优先保留执行式证据；开放偏好则保留多标注者分歧和规则版本，避免把某一组人的偏好当成无条件真理。

对应教程

参考资料