返回全部题目← 上一题23 / 71下一题 →题库/模型基础与推理/Q-4297常见 Attention 变体有哪些，Linear Attention 的基本思路是什么？知识专题：Transformer 与注意力题目类型：原理机制技术难度：进阶相关面经：3 篇题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经3 篇华为大模型算法工程师2026-10-25一面查看原面经 →除MHA、MQA、GQA之外，你还了解哪些注意力变体，DeepSeek、Qwen采用的注意力方案有什么特点百度多模态大模型2026-10-22一面查看原面经 →多头注意力的变体有什么阿里控股数据与算法2026-04-07实习一面查看原面经 →知道哪些attention变体，讲一下。问知不知道linear attention，qwen3.5和minimax2.5都用了，这个我实在没想到，因为一个AIGC让我看了两天万相和seedance的技术报告😭收录题集3 个来源，共5 份题集模型架构与注意力Firefly · llm_interview_note · 1 条原题查看题集 →目前主流的attention方法有哪些？深度学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →【Attention变体】Attention变体有哪些？请介绍其原理。 「百度、腾讯混元」Transformer注意力机制介绍MHA的几种变体及改进方法。大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →不同Attention之间的区别是什么？深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →深度学习中有哪些常用的注意力机制？与Transformer的自注意力有何区别？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →深度学习中有哪些常用的注意力机制？相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Transformer 从接收用户输入到生成输出会经历哪些主要步骤？下一题 →Attention 与 Self-Attention 有什么关系和区别？
