常见偏好对齐方法有哪些，应如何比较它们的取舍？

• 【价值观对齐技术路径】在进行大模型价值观对齐时，除了RLHF，还有哪些技术路径？ 「蚂蚁集团」

RLHF流程与算法对比 特别说明PPO与DPO的区别、PPO与GRPO的区别、DPO的数据构造方式及优势函数、如何平衡PPO的探索性与确定性；

• 并对比PPO、DPO、GRPO、KTO等后训练方法的原理、Loss形式、优缺点、适用场景及落地场景；

• 【RLHF算法对比】请对比PPO、DPO、GRPO、DAPO、GSPO这五种RLHF算法，包括：各自的基本原理、目标函数/损失函数、优势函数公式、发展流程（如需要几个模型）、主要区别、各自的优缺点、为什么PPO的上限比DPO高、为什么要用GRPO、以及在实际工程中分别适合什么场景？ 「字节跳动、百度、百度文心、腾讯、腾讯混元、阿里巴巴」

• 大模型对齐、强化学习和AI Agent中常见的优化目标有哪些？

• 如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？