返回全部题目← 上一题75 / 251下一题 →题库/模型训练与对齐/Q-16872PPO 的裁剪目标为什么同时使用 clip 和 min，仅保留 clip 会有什么问题？知识专题：强化学习与奖励题目类型：原理机制技术难度：进阶相关面经：2 篇未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经相关题目相关面经2 篇字节跳动大模型算法2026-04-12暑期实习一面查看原面经 →GRPO为什么要在CLIP之后做min字节跳动大模型算法实习生2026-01-10日常实习一面查看原面经 →在PPO的算法损失函数中，有两个操作，一个是clip，还有一个是min，请你说一下这两个操作的方式作用还有他们在PPO中的意义。查看该问上下文 →在PPO算法的损失函数设计中，cilp的操作已经能够限制策略更新的幅度确保稳定性，为什么还需要在损失计算中取原始的目标和clip的较小值？如果只保留clip部分，不取较小值会有什么问题？查看该问上下文 →相关题目4 题0086如何判断强化学习带来的实际收益？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇0103强化学习包含哪些主要组件？同一知识专题题目类型：概念解释技术难度：基础相关面经：4 篇0104GRPO 算法如何工作？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0105On-policy 和 Off-policy 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题项目怎样修改 GRPO，改动希望解决什么问题、达到什么效果？下一题 →项目的 SFT 和 GRPO 是否分为两个阶段？
