返回全部题目← 上一题6 / 31下一题 →题库/模型基础与推理/Q-3711大模型推理解码中的 Prefill 和 Decode 阶段分别做什么？知识专题：推理与解码题目类型：原理机制技术难度：进阶题集来源：5 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集5 个来源，共7 份题集模型部署精华 · 大模型部署技术Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →Transformer自回归解码中Prefill阶段与Decode阶段有什么不同？Prefill和Decode阶段的瓶颈分别是什么？为什么需要分开优化？八股集锦（高频问题）小熊饼干_ · 个人整理 · 1 条原题查看题集 →大模型解码推理的两个阶段是什么？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →Prefill 与 Decode 的算子形态和瓶颈为何不同？Matmul、KV 传输和量化应如何分别优化？LLM推理系统问答阿东玩 AI · AgentGuide · 2 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider What is the difference between prefill and decode in LLM inference, and why does it matter for system design?Why is the decode phase memory-bandwidth-bound while prefill is compute-bound? What are the implications for serving system design?AI系统与训练推理工程阿东玩 AI · AgentGuide · 3 条原题查看题集 →【Prefill与Decode阶段】预填充阶段（Prefill）和解码阶段（Decode）有什么区别？ 「小红书、腾讯」prefill和decode在GPU上的计算特征有什么区别？【Prefill与Decode阶段】大模型推理分哪两个阶段（Prefill与Decode）？每个阶段的特点是什么？请结合Roofline模型，详细解释Transformer推理中Prefill和Decode两个阶段的区别，包括：各自是计算密集型还是访存密集型？为什么不能提高计算效率？以及每个阶段对应的是GEMM还是GEVM操作？ 「字节Seed、字节跳动、小红书、百度、阿里巴巴、阿里通义」展开剩余 2 份题集大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Why is the first token slower than the rest in an LLM?LLMOps 与生产应用AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Prefill vs Decode相关题目4 题2279为什么 Temperature 为 0 时模型输出仍可能有差异？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇2757Temperature、Top-k 和 Top-p 怎样影响模型采样？同一知识专题题目类型：原理机制技术难度：进阶相关面经：8 篇2917投机解码的原理是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇3686大模型常见解码策略有哪些，贪心、Beam Search 与采样如何选择？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Decoder-only 模型在训练和推理阶段的输入形式有什么不同？下一题 →大模型推理为什么需要 Prefill 阶段？
