返回全部题目← 上一题46 / 140下一题 →题库/模型基础与推理/Q-4695Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？知识专题：模型架构与表示题目类型：原理机制技术难度：进阶相关面经：1 篇题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇百度AI Infra2026-08-13秋招一面查看原面经 →在Transformer模型中，Attention和FFN哪个部分参数量通常更大？为什么？收录题集4 个来源，共5 份题集模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →如何根据模型配置估算参数量？参数量、训练浮点运算次数（FLOPs）和训练显存为什么不能画等号？大模型手写代码题Chaofa Yuan · AI-Interview-Code · 1 条原题查看题集 →计算 LLM (Decoder) 模型的参数量AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 2 条原题查看题集 →如何从模型结构估算参数量、FLOPs、训练显存、推理访存与 MFU？Attention 与 FFN 的计算量和参数量谁更大？深度学习基础汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →【线性层层数】Transformer中线性层有几层？ 「蚂蚁集团」【MHA参数量】multi-head attention的计算参数量是多大？ 「阿里巴巴」【Transformer参数与计算量】Transformer中参数都分布在哪里，参数量最大的是哪部分？计算量最大的是哪部分，为什么？ 「美团」展开其余 1 条原题【参数量计算】Transformer的参数量怎么计算？有哪些层是有参数的？请给出参数估计方法。 「京东、百度、美团、腾讯混元」大模型基础面试题阿东玩 AI · AgentGuide · 2 条原题查看题集 →Transformer模型中，最占用参数的是MLP层吗？Transformer模型中计算量(FLOPs)和参数的表格分析相关题目4 题0208Chat Template、System Prompt 和训练形成的行为先验有什么关系？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇0279MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇0511熟悉哪些大模型，它们的结构有何不同？同一知识专题题目类型：比较选型技术难度：进阶相关面经：6 篇0571Qwen3 与 BGE 编码模型原理是什么，Qwen3 编码模型如何训练？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题SwiGLU 的门控前馈结构如何工作？下一题 →BERT 的整体结构是什么，如何形成双向上下文表示？
