返回全部题目← 上一题17 / 71下一题 →题库/模型基础与推理/Q-3701Transformer 编码器与解码器中的注意力机制有什么区别？知识专题：Transformer 与注意力题目类型：比较选型技术难度：基础题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集4 个来源，共7 份题集深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？（为什么Decoder自注意力需要进行 sequence mask）八股集锦（高频问题）小熊饼干_ · 个人整理 · 1 条原题查看题集 →Transformer的Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？模型架构与注意力Firefly · llm_interview_note · 2 条原题查看题集 →BERT的Encoder与Decoder掩码有什么区别？Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？公司案例问答汇编阿东玩 AI · AgentGuide · 3 条原题查看题集 →八股:Encoder与decoder的中Attention区别?八股:说一下Decoder的因果注意力, QKV分别来自哪Encoder与decoder的中Attention区别?预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Encoder与Decoder区别】Decoder和Encoder在实施时有哪些具体的区别？ 「字节跳动」展开剩余 2 份题集多模态与计算机视觉阿东玩 AI · AgentGuide · 1 条原题查看题集 →【ViT与Qwen2注意力对比】ViT使用的注意力和Qwen2是一样的吗，为什么这么设计？ 「阿里巴巴」深度学习基础汇编阿东玩 AI · AgentGuide · 5 条原题查看题集 →【Attention Mask】Attention Mask的作用是什么？如何实现？Decoder的mask是怎么添加的，目的是什么？在预测next word时需要注意什么（mask机制）？Encoder和Decoder中的多头注意力机制有何不同？它们的注意力是否全局可见？掩码有何不同？表现是否一致？ 「京东、字节跳动、百度、阿里巴巴」【Encoder-Decoder交互】Decoder的因果注意力中，Q、K、V分别来自哪里？Transformer decoder和encoder有哪些不同的地方？cross attention中q,k,v分别来自哪里？Encoder端和Decoder端是如何进行交互的？ 「字节跳动、腾讯混元」【Encoder-Decoder区别与Mask】Transformer里encoder和decoder的主要区别在哪里，为什么要做mask？ 「京东、字节跳动」展开其余 2 条原题【解码器KV来源】解码器处的K、V矩阵来自哪里？ 「阿里巴巴」Transformer与Attention编码器和解码器的注意力有什么区别；相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题GQA 的原理是什么，如何在效果、速度和显存之间折中？下一题 →Decoder 自注意力为什么需要因果掩码，具体如何实现？
