返回全部题目← 上一题44 / 71下一题 →题库/模型基础与推理/Q-4857Attention 中如何屏蔽 Padding 位置，为什么应在 Softmax 前处理？知识专题：Transformer 与注意力题目类型：原理机制技术难度：基础题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集3 个来源，共6 份题集深度学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →【Attention Mask】Attention Mask的作用是什么？如何实现？Decoder的mask是怎么添加的，目的是什么？在预测next word时需要注意什么（mask机制）？Encoder和Decoder中的多头注意力机制有何不同？它们的注意力是否全局可见？掩码有何不同？表现是否一致？ 「京东、字节跳动、百度、阿里巴巴」【Padding Mask】在计算attention score的时候如何对padding做mask操作？ 「腾讯混元」模型架构与注意力Firefly · llm_interview_note · 2 条原题查看题集 →self-attention 在计算的过程中，如何对padding位做mask？在计算attention score的时候如何对padding做mask操作？平安科技高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer的mask是如何操作的？深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →在计算attention score的时候如何对padding做mask操作？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer attention计算注意力矩阵的时候如何对padding做mask操作的？展开剩余 1 份题集深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →为什么解码器需要掩码自注意力？请解释 Causal Mask 和 Padding Mask 的作用及实现方式。相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Attention 相比传统 Seq2Seq 的固定向量编码解决了什么问题？下一题 →Attention 与全连接层的计算方式有什么区别？
