返回全部题目← 上一题22 / 103下一题 →题库/模型基础与推理/Q-3649如何降低多头注意力的计算开销？知识专题：推理优化与模型压缩题目类型：方案设计技术难度：进阶相关面经：2 篇题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经2 篇快手AI Infra2026-10-23一面查看原面经 →Attention算子主要优化点快手2026-05-09面经合集查看原面经 →追问如何解决多头注意力机制计算开销过大的问题？收录题集3 个来源，共5 份题集深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →自注意力机制的 $O(N^2)$ 复杂度带来了哪些长序列痛点？有哪些主流的算法级解决方案（如稀疏注意力、线性注意力）？大模型工程面试题小林 Coding · 个人整理 · 1 条原题查看题集 →多头注意力（MHA）有哪些局限？MQA、GQA、Flash Attention 怎么解决？算法岗专项面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →长上下文建模的注意力机制优化LLM推理系统问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider What is the attention complexity bottleneck and how do modern systems address it?深度学习基础汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →【Attention优化】Attention优化方向？Multi-Head Attention现在有哪些主流的优化方向？每个方向下有什么优化方法？ 「腾讯混元、阿里通义」Transformer复杂度与加速：了解哪些降低训练时间复杂度的工作？了解哪些加速方式？哪些大模型用了线性attention？具体怎么做？【长序列注意力优化】针对长序列中Attention计算复杂度高的问题，有哪些降低复杂度的方法？请列举并分类说明。其中一种方法是FlashAttention，请说明它与其他方法在技术上的异同。 「字节跳动、百度、腾讯、阿里巴巴」展开其余 1 条原题手撕注意力机制变体：设计高效Attention实现，降低时间/空间复杂度。相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：5 篇♥♥♥♥♥← 上一题已到最后一题← 上一题vLLM 的 PagedAttention 如何工作？下一题 →KV Cache 为什么容易造成显存利用率低？
