PPO、DPO、GRPO 与 OPD 在目标、数据和训练过程上有什么区别？

讲讲 RL 里经典的 PPO / DPO / GRPO / OPD。答他们的分别大体是怎么样和相互之间的对比，讲得偏 general，没结合 reward/loss 细节。

OPD 与 DPO 有什么区别？

10\. 简单介绍 SFT 的训练流程，并比较 PPO、DPO 和 GRPO 的区别。