返回全部题目← 上一题34 / 150下一题 →题库/模型训练与对齐/Q-4709继续预训练时 loss 上升是否正常，如何判断和排查？知识专题：训练框架、调参与排障题目类型：故障排查技术难度：进阶题集来源：2 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集2 个来源，共4 份题集预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →大语言模型训练中为什么容易出现损失尖峰（loss spike）、NaN 和梯度异常？如何监控与缓解？预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Loss Spike】预训练过程中出现Loss Spike的原因有哪些？ 「字节跳动」深度学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →【Loss spike处理】遇到过loss spike吗？如何解决？ 「美团、蚂蚁集团」【Loss震荡原因与解决】训练时loss不稳定（震荡）可能是什么原因，如何排查和优化？特别是在微调Qwen时验证集loss震荡，可能原因有哪些？ 「字节跳动、蚂蚁集团、阿里巴巴」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →增量预训练的过程当中，loss上升正常吗？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题训练样本长度不一致时，如何组织批次并减少无效计算？下一题 →Transformer 中 Dropout 通常如何设置，训练与推理时有什么区别？
