返回全部题目← 上一题12 / 150下一题 →题库/模型训练与对齐/Q-1607预训练如何选择 warmup、余弦退火及动态学习率调度？知识专题：训练框架、调参与排障题目类型：比较选型技术难度：进阶相关面经：1 篇题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇美团软件开发工程师2026-09-02查看原面经 →大模型预训练学习率调度(Adam优化器，余弦退火，线性warmup阶段，基于训练损失变化的动态调度)收录题集4 个来源，共14 份题集机器学习基础与优化Datawhale · daily-interview · 1 条原题查看题集 →在随机梯度下降法⾥怎么有效地选择学习率?有哪些常⻅见的动态改变学习率的策略？模型架构与注意力Firefly · llm_interview_note · 1 条原题查看题集 →Transformer训练的时候学习率是如何设定的？预训练与架构阿东玩 AI · AgentGuide · 2 条原题查看题集 →【Rewarmup】在初始预训练中使用Rewarmup对大模型继续预训练性能影响？ 「腾讯混元」【预训练策略】你们预训练的时候，除了有对配比实验的策略，有没有其他策略（比如学习率上的）？ 「字节跳动」深度学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →【学习率不衰减后果】如果不衰减学习率会有什么后果？请解释学习率不衰减的后果。 「字节跳动」【学习率调整】此时学习率怎么调整？请解释学习率调整的方法。 「阿里巴巴」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →在增量预训练过程中如何设置学习率(learning rate, LR)？展开剩余 9 份题集目标检测Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →目标检测模型训练中，为何要使用Warmup策略，它解决了什么问题？深度网络架构Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →Transformer训练的时候学习率是如何设定的？如何数学描述Transformer模型中的学习率预热策略？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer模型中学习率调整策略有何特点？深度学习核心概念Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →什么是学习率调度（Learning Rate Scheduling）？常见策略有哪些？深度学习精华·机器学习基础Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →学习率调度、权重衰减、梯度裁剪和混合精度为什么决定训练稳定性？深度学习精华·训练与优化Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →学习率 warmup 的核心目的是什么？常用的 warmup 方式有哪些？如何设计 warmup 策略？工业界常用的学习率组合策略是什么？大模型训练中为什么普遍采用「线性 warmup + 余弦退火」？优化方法Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →深度学习中常用的学习率衰减策略有哪些？介绍一下深度学习中的学习率衰减？训练与评估Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →常用的学习率调整策略有哪些（如余弦退火、阶梯下降等）？各自适用于什么场景？预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →大语言模型预训练中为什么需要学习率预热（warmup）、衰减（decay）和基于词元的调度（token-based schedule）？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题强化学习平台如何管理资源？下一题 →Label Smoothing 具体如何实现？
