返回全部题目← 上一题120 / 150下一题 →题库/模型训练与对齐/Q-6077从零实现 Adam 或 AdamW 参数更新。知识专题：训练框架、调参与排障题目类型：代码题技术难度：进阶题集来源：2 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集2 个来源，共4 份题集腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →手撕：AdamW编码题专题汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →【AdamW、优化器｜L3】手撕AdamW。 「腾讯」【Adam、优化器、偏差校正｜L4】实现MyAdam优化器：MyAdam(params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8)。方法：step()使用偏差校正后的矩更新参数，zero_grad()将所有参数梯度清零。约束：必须与torch.optim.Adam数值一致，偏差校正：m_hat=m/(1-beta1^t)。；另一场次补充：从零实现Adam优化器。 「字节跳动」大模型手写代码练习路线阿东玩 AI · AgentGuide · 2 条原题查看题集 →Adam Optimizer· 中等 🟡 中等 — 现代 LLM 训练标配，一阶+二阶矩AdamW 优化器· 中等 🟡 中等 — 解耦权重衰减，比 Adam+L2 更正确机器学习基础汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Adam优化器实现】实现Adam优化器（含AdamW变体）。要求：1）实现MyAdam类，包含__init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8)、step()和zero_grad()方法；step()需使用偏差校正：m_hat = m / (1 - beta1^t)，v_hat = v / (1 - beta2^t)；数值需与torch.optim.Adam一致。2）实现AdamW，即在Adam基础上加入权重衰减（weight_decay参数），更新时参数减去lr * weight_decay * param。 「字节跳动、腾讯」相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题实现 Kaiming 权重初始化。下一题 →实现带线性预热的学习率调度。
