Transformer 有哪些优劣势，与其他架构相比如何？
未标记
考查重点：长距依赖与计算成本。Attention 短路径连远距离、训练易并行；全注意力长序列成本高，自回归生成仍逐 token，按任务比较 RNN/其他架构
本题目录
参考答案
核心回答
Transformer的优势是用内容相关的注意力直接连接序列位置，在训练时并行计算各位置，适合大规模矩阵运算与统一建模；代价是标准全注意力随长度平方增长，生成时还受自回归依赖、KV缓存与带宽约束。它改善了RNN长路径和序列串行、CNN局部感受野的问题，但不是让其他架构“无法解决”的任务突然变得可解。
从设计上理解，它把固定的局部连接改成随输入内容变化的信息路由，再用共享的投影和FFN加工表示。获得灵活交互的同时，需要支付更多计算、缓存和数据学习成本。
与RNN、CNN比较
对RNN：标准RNN沿时间逐步更新状态，远距离信息经过较长链路；全注意力层让两个可见位置直接交互，路径更短。训练时整段已知的Q/K/V可并行计算，但decoder生成下一个token仍依赖前面采样结果，不能说所有推理步骤并行。
RNN及其门控变体用固定大小状态压缩历史，流式推理内存可较稳定；注意力保留更显式的历史表示，读取灵活但缓存随长度增长。LSTM缓解长依赖困难，并非完全不能处理长文本。
对CNN：卷积具备局部性和参数共享，适合图像等任务的局部结构；远距离关系通常需要堆叠、扩张卷积等方式扩大感受野。注意力可直接按内容选择远处信息，但较弱的局部先验常需要数据、位置设计或混合结构补足。CNN也能并行，不应把并行化当Transformer相对所有架构的独有优势。
主要成本和限制
标准稠密Transformer每层通常包含约O(nD²)的投影/FFN和O(n²D)的注意力计算；显式注意力矩阵占O(n²)序列空间，具体还受batch与头数影响。FlashAttention减少矩阵存储与访存，并不取消一般全注意力的平方算术量。
位置与顺序需要位置编码等机制表达；窗口上限及训练分布也限制长文本泛化。模型能把两处内容连接起来，不保证一定检索到正确事实或完成推理。规模增大可以改善能力，也会增加训练、推理和调试成本。
其他架构值得关注什么
选择性状态空间模型如Mamba，让状态更新依赖输入，利用紧凑状态与扫描实现，使固定模型尺寸下序列计算可线性扩展、增量状态不必保存全部历史KV。它与全注意力在状态压缩、精确内容读取和硬件实现上有不同取舍，不能只凭渐近复杂度推断所有任务更好。
线性/稀疏注意力、循环模型和注意力混合等方案，也都在调整保留多少历史、怎样读取和如何并行。选型需要比较真实任务质量、长度泛化、吞吐、尾延迟与状态成本；没有一种架构只靠名称就能成为普遍最优。
对应教程
- 1-1-大模型认知与工程概览：理解结构、训练与生成的关系，再比较不同信息路径的收益和成本。
参考资料
- 国内：wdndev：Attention与Transformer：依据注意力与循环结构的信息路径和递推依赖，说明正文中长距离交互与训练并行性的差别。
- 国内：WeThinkIn：模型架构与工作原理：参考全局内容交互、位置机制与资源关系，说明正文中注意力灵活性仍受位置、训练和成本限制。
- 国内：Datawhale：第三章 大语言模型基础：依据训练与推理的不同已知输入条件，解释正文中位置并行不消除自回归生成顺序依赖的原因。
- 国外：Vaswani等 / Google：Attention Is All You Need：依据原论文对 RNN、CNN 的路径与复杂度比较，说明正文中直接交互的优势及稠密注意力平方成本。
- 国外：Gu、Dao / CMU、Princeton：Mamba：依据 SSM 用紧凑状态压缩历史的机制，说明正文中 Mamba 与显式注意力在状态成本和精确内容读取上的取舍。
