训练奖励模型时，成对偏好比较相比绝对打分有哪些优缺点？

知识专题：训练数据构建与治理题目类型：比较选型技术难度：进阶

题集来源：2 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

2 个来源，共4 份题集

LLM、VLM 与 Agent 面试题

Datawhale · hello-agents · 1 条原题

查看题集 →

- 在RM训练阶段，我们通常收集的是成对比较数据，而不是让人类标注者直接给回复打一个绝对分数。你认为这样做的主要优势和潜在的劣势分别是什么？

后训练章节追问

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 为什么 Reward Model 常用 Bradley-Terry，而不是直接做绝对分数回归？

强化学习与对齐

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【DPO奖励类型】DPO-reward用pointwise还是pairwise？「腾讯」

理论基础面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 在RM训练阶段，我们通常收集的是成对比较数据，而不是让人类标注者直接给回复打一个绝对分数。你认为这样做的主要优势和潜在的劣势分别是什么？