返回全部题目← 上一题31 / 71下一题 →题库/模型基础与推理/Q-4681稀疏注意力如何降低计算复杂度，常见连接模式有哪些？知识专题：Transformer 与注意力题目类型：原理机制技术难度：进阶相关面经：1 篇题集来源：2 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇腾讯后训练2026-10-11日常实习一面、二面查看原面经 →稀疏 Attention 原理，以及训练、推理阶段的算力与开销变化收录题集2 个来源，共8 份题集深度学习基础汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【稀疏/局部Attention对比】稀疏/局部Attention与全序列原生Attention相比有何区别？ 「字节跳动」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →Sparse Attention(稀疏注意力)是什么？理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →滑动窗口、稀疏注意力和环注意力（Ring Attention）分别解决什么问题？跨周期技术拆解Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →动态稀疏注意力为什么仍可能很慢？展开剩余 3 份题集大模型与多模态数学专题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →滑动窗口注意力、稀疏注意力、分块注意力如何降低复杂度？AI多模态精华版·核心组件Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Token 压缩与稀疏注意力如何缓解长序列压力？AI多模态精华版·主流模型核心技术Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Qwen2.5-VL 为什么要做 Window Attention 与 RMSNorm/SwiGLU 等高效化改造？相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Transformer 中逐位置前馈网络 FFN 有什么作用？下一题 →Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？
