返回全部题目← 上一题52 / 94下一题 →题库/模型训练与对齐/Q-4634大语言模型预训练通常使用什么预测目标，它如何形成训练信号？知识专题：预训练、续训与 SFT题目类型：原理机制技术难度：基础相关面经：1 篇题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇三一树根机器人强化学习算法2026-10-19实习查看原面经 →大模型预训练（Pre-training）时为什么要用交叉熵？它主要是对什么和什么进行计算？查看该问上下文 →追问如果输入序列是 `1 2 3 4`（下一个是 `5`），它的训练标签（Label）应该是什么？查看该问上下文 →收录题集3 个来源，共4 份题集预训练与架构阿东玩 AI · AgentGuide · 2 条原题查看题集 →【训练目标】大模型LLM的训练目标是什么？ 「百度、腾讯混元」【预训练重心】预训练阶段的重心会是什么？ 「腾讯」模型与 NLP 基础Firefly · llm_interview_note · 1 条原题查看题集 →大模型LLM的 训练目标预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →什么是大语言模型预训练？为什么主流 LLM 预训练通常采用自回归（下一词元预测）？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →自回归语言模型的最大似然训练目标是什么？相关题目4 题0083如何提升 Agent 的长程任务能力？同一知识专题题目类型：方案设计技术难度：进阶相关面经：2 篇0085当 pass@k 与 pass@1 的差距收敛后，如何继续提升模型能力？同一知识专题题目类型：方案设计技术难度：深入相关面经：1 篇0207基座已有工具调用能力时，Tool-use SFT 的训练目标是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0495你有哪些大模型后训练经验？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题提示词工程与任务专用微调应如何选择？下一题 →因果语言建模与掩码语言建模有什么区别？
