返回全部题目← 上一题25 / 150下一题 →题库/模型训练与对齐/Q-4515PPO 对齐训练的 KL 惩罚系数过大或过小有什么影响，应如何调节？知识专题：训练框架、调参与排障题目类型：故障排查技术难度：深入题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集3 个来源，共4 份题集vivo高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →KL 散度系数等超参数是如何调优的？LLM、VLM 与 Agent 面试题Datawhale · hello-agents · 1 条原题查看题集 →如果在PPO训练过程中，KL散度惩罚项的系数 β 设置得过大或过小，分别会导致什么样的问题？你将如何通过实验和观察来调整这个超参数？强化学习与对齐阿东玩 AI · AgentGuide · 2 条原题查看题集 →【KL散度在RLHF中的作用】KL散度在RLHF的训练目标中扮演什么角色？如何直观理解其公式所衡量的差异？KL散度前的系数有什么含义，应该怎么设置？ 「腾讯、腾讯混元、阿里巴巴」【KL系数β影响】实际训练中，KL系数β太大 / 太小分别会出现什么现象？ 「腾讯」理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →如果在PPO训练过程中，KL散度惩罚项的系数 β 设置得过大或过小，分别会导致什么样的问题？你将如何通过实验和观察来调整这个超参数？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题交叉熵与 KL 散度有什么联系和区别，分别适用于哪些任务？下一题 →什么是梯度累积，它如何帮助大模型微调？
