返回全部题目← 上一题29 / 71下一题 →题库/模型基础与推理/Q-4594Transformer 与 RNN 在建模长距离依赖时有什么区别？知识专题：Transformer 与注意力题目类型：比较选型技术难度：进阶题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集3 个来源，共6 份题集大语言模型Datawhale · daily-interview · 1 条原题查看题集 →自注意力机制如何使大模型能够捕捉长距离依赖关系，它跟RNN有什么区别？强化学习与对齐阿东玩 AI · AgentGuide · 1 条原题查看题集 →「字节跳动、蚂蚁集团」有提到借鉴了Transformer的作为强化学习的编码器，那么Transformer在其中起到了什么作用？和提到的LSTM的优劣是什么？深度学习基础汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →序列建模与时间理解机制：包括LSTM与Transformer的区别；【Transformer vs LSTM】LSTM能够捕获长期依赖性，Transformer是如何解决这一问题的? 「字节Seed」【Transformer与RNN/LSTM对比】请阐述Transformer模型的核心思想（自注意力机制），并分析其在处理长序列数据时相比RNN/LSTM的优势与潜在挑战。 「蚂蚁集团」展开其余 1 条原题【长序列梯度传播】序列太长会不会导致一个非常长的梯度传播链？请解释长序列梯度传播的问题。 「字节跳动」理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列?深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →自注意力的全局建模能力，相比 RNN 的时序建模和 CNN 的局部建模，在生成类任务上带来了什么本质差异？展开剩余 1 份题集01_AI视频核心基础知识Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer为何能够有效地处理长距离依赖问题?与传统RNN和LSTM相比有哪些优势?相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：20 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题LayerNorm 在 Transformer 中有什么作用，通常放在哪里？下一题 →Transformer 中逐位置前馈网络 FFN 有什么作用？
