八股集锦（高频问题）题集来源：小熊饼干_（daydayjuanjuan）反馈（在 GitHub 新标签页打开）题目目录92 道原题隐藏关联题目排序默认排序面经最多31大模型常见的解码方式关联题目大模型常见解码策略有哪些，贪心、Beam Search 与采样如何选择？模型基础与推理 / 推理与解码比较选型进阶1篇相关面经32Top p、Top k、Temperature(大模型解码参数)关联题目Temperature、Top-k 和 Top-p 怎样影响模型采样？已有答案模型基础与推理 / 推理与解码原理机制进阶8篇相关面经33什么是投机解码，与自回归有什么区别？关联题目投机解码的原理是什么？模型基础与推理 / 推理与解码原理机制进阶2篇相关面经34大模型解码推理的两个阶段是什么？关联题目大模型推理解码中的 Prefill 和 Decode 阶段分别做什么？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经35(追问)为什么要做Prefill关联题目大模型推理为什么需要 Prefill 阶段？模型基础与推理 / 推理与解码原理机制基础0篇相关面经36KV Cache的动机和原理关联题目KV Cache 缓存什么，怎样影响推理速度和显存？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶12篇相关面经37KV Cache的优缺点关联题目KV Cache 缓存什么，怎样影响推理速度和显存？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶12篇相关面经38为什么有K和V Cache，没有Q Cache关联题目Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？模型基础与推理 / 推理优化与模型压缩原理机制进阶2篇相关面经39为什么KV cache显存利用率很低关联题目KV Cache 为什么容易造成显存利用率低？模型基础与推理 / 推理优化与模型压缩故障排查进阶1篇相关面经40如何优化KV Cache，有什么方式关联题目如何降低 KV Cache 空间开销，MQA 等结构起什么作用？模型基础与推理 / 推理优化与模型压缩方案设计进阶2篇相关面经暂无题目共 92 道原题 · 显示 31–40 道展开全部92题上一页1…345…104 / 10下一页