了解哪些强化学习优化算法？
未标记
考查重点：价值学习、策略梯度与算法差异。价值法学 Q 值，策略梯度直接优化动作概率，Actor-Critic 用价值减方差；PPO 裁剪更新，TD3 用双 Q 等缓解高估
本题目录
参考答案
核心回答
可以按“学价值还是学策略、是否使用环境模型、数据能否复用”来组织。经典算法包括Q-Learning、DQN、REINFORCE、Actor-Critic、PPO、DDPG、TD3和SAC；语言模型后训练中还常讨论GRPO、DPO等，但DPO是直接偏好优化，不是需要在线环境采样的策略梯度RL算法。
面试中选几种讲清目标、数据、更新方式和适用条件，比只列缩写更有用。
主要路线与代表机制
价值学习：Q-Learning、DQN。 学习动作价值Q(s,a)，再据此选择动作。DQN用神经网络替代表格，并采用经验回放和目标网络改善稳定性；标准形式适合可枚举的离散动作，连续动作下直接对所有动作取最大较困难。
策略梯度：REINFORCE与Actor-Critic。 REINFORCE根据采样回报提高好动作的概率，估计可能有较大方差；Actor-Critic增加价值估计帮助构造基线或优势，在偏差、方差和样本效率之间取舍。策略方法也可以处理离散动作，不是只适合连续控制。
PPO。 用采样时的旧策略与当前策略概率比形成代理目标，通过裁剪等方式抑制部分过大的更新激励，通常结合优势估计和价值学习。它不保证实际KL永远小于固定阈值，数据也不能像普通回放缓冲那样无限复用。
连续控制：DDPG、TD3、SAC。 DDPG联合训练确定性策略与Q函数，可使用回放；TD3针对价值高估等问题，用双Q较小目标、延迟策略更新和目标动作平滑。SAC学习随机策略，并将熵纳入目标，在回报与探索间平衡。它们不是因为算法名更新就自动适合文本token空间。
语言模型后训练如何联系
GRPO对同一输入采样一组回答，用组内相对奖励构造优势，可以省去PPO式显式价值模型，但需要组内有可区分信号，也要承担多候选生成成本。DPO使用chosen/rejected偏好数据和参考策略直接优化相对偏好；有高质量比较对与有可验证环境反馈，是不同的数据条件。
讨论近期PO算法时，应给出具体论文和版本，解释它改了什么、在哪些任务上验证，再与业务基线作同预算比较。
如何选算法
先确认离散/连续动作、交互成本、奖励可靠性、历史数据复用条件及稳定性要求。离散小动作可从价值方法建立基线；连续控制评估TD3/SAC等；语言模型有比较对可评估DPO，有可验证结果和采样条件可评估PPO/GRPO。固定环境、任务和采样预算比较真实成功、成本及泛化，而不是只看训练奖励上升。
对应教程
- 1-1-大模型认知与工程概览：先建立策略、奖励与训练阶段的关系，本文扩展经典RL算法谱系。
参考资料
- 国内：WeThinkIn：强化学习高频知识点：借鉴价值方法、策略方法与 Actor-Critic 的分类，组织正文中的算法体系并解释 DQN、PPO 的代表机制。
- 国内：wdndev：强化学习基础：参考 MDP、同策略与异策略及回报、自举的说明，解释正文中按数据复用和更新机制区分算法的角度。
- 国内：DeepSeek-AI等：DeepSeekMath：依据 GRPO 同题多候选的组内相对奖励，解释正文中它与 PPO 价值基线的区别及多候选生成成本。
- 国外：Spinning Up：Kinds of RL Algorithms：参考模型/免模型、策略/Q 函数的分类，说明正文中 DDPG、SAC 等方法在算法体系中的位置。
- 国外：Fujimoto等 / McGill University：Addressing Function Approximation Error in Actor-Critic Methods：TD3 的双 Q 取较小值、延迟策略更新与目标策略平滑，说明它怎样调整 Actor-Critic 的价值估计与策略更新过程。
