八股集锦（高频问题）

题集来源：小熊饼干_（daydayjuanjuan）反馈（在 GitHub 新标签页打开）

Transformer的并行化体现在哪些地方？Decoder端可以做并行化吗？
关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶2篇相关面经
Transformer中Attention的本质是什么？
关联题目Transformer 中的 Attention 如何计算？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶20篇相关面经
自注意力的计算方式和复杂度？
关联题目Transformer 中的 Attention 如何计算？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶20篇相关面经关联题目Self-Attention 的时间复杂度是多少，如何推导？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经
为什么自注意力计算要除$$\sqrt{d_k} $$
关联题目Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？模型基础与推理 / Transformer 与注意力原理机制进阶5篇相关面经
介绍一下Transformer QKV的计算？
关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经
(追问)为什么要分成QKV，怎么计算的？同一个token向量是一样的吗？
关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经
自注意力中多头的好处?
关联题目为什么使用多头注意力而不换成单头？模型基础与推理 / Transformer 与注意力比较选型基础5篇相关面经
为什么在进行多头注意力的时候需要对每个head进行降维
关联题目多头注意力为什么要降低每个 Head 的维度？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
交叉注意力你如何理解，与自注意力有什么区别。
关联题目交叉注意力与自注意力有什么区别？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经
什么是MoE模型？与Dense模型有什么区别？
关联题目Dense 模型与 MoE 模型有什么区别？模型基础与推理 / 模型架构与表示比较选型进阶3篇相关面经