DPO 中好坏样例生成概率都下降的问题如何理解？

知识专题：偏好对齐题目类型：原理机制技术难度：进阶

相关面经：1 篇题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

相关面经

1 篇

阿里巴巴

大模型应用算法工程师

2026-03-30

查看原面经 →

dpo训练是同时打压好坏样例的生成概率问题

收录题集

1 个来源，共1 份题集

强化学习与对齐

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【DPO训练技巧】DPO训练技巧：为什么DPO会出现正样本reward也降低的情况？有没有可能DPO训练后choosen和reject的概率都提升了？应该怎么办？你做DPO时为什么搭配0.2权重的SFT loss，防止什么问题？「京东、字节跳动、阿里巴巴」