如何处理梯度消失与梯度爆炸？

核心回答

梯度消失或爆炸来自反向传播时多个局部导数或Jacobian连乘，使梯度过小或过大。Transformer通过残差路径、归一化、合适初始化、注意力缩放及学习率策略改善稳定性，但没有一种结构能保证训练永远不出问题。实际应同时检查梯度范数、非有限值、参数更新幅度、异常数据和混合精度状态。

梯度裁剪主要限制过大梯度，不能把已经消失的梯度恢复出来；降低学习率控制参数更新步长，也不等于直接改变当前反向求出的梯度。

机制如何理解

一条简化标量链若每层局部导数都是0.5，经过20层乘积约9.54×10⁻⁷；若都是2，则约1.05×10⁶。真实网络是矩阵乘积，还与方向和奇异值有关，不能只看单个权重是否大于1。

残差块y=x+F(x)的局部导数是I+J_F，提供较短的梯度通路，缓解深层优化困难，但仍可能放大或抵消。归一化与初始化控制激活和梯度尺度；Pre-LN常让深层训练更稳定，具体仍取决于结构和训练配方。

注意力中除以√d_k，是为了在常见独立、零均值、单位方差假设下把点积方差维持在较合理尺度，减少softmax过度饱和。这针对注意力logits，并不是对全部梯度异常的通用裁剪。

怎样处理与定位

梯度过大或Loss突然异常：定位首个出现Inf/NaN的激活、Loss或梯度，检查异常样本、掩码、除零、指数溢出及过大的学习率。对有限梯度可做全局范数裁剪：

g_new = g × min(1, c / ||g||)

梯度范数为0时保持原值，不进行除法。例如g=(3,4)、范数5，阈值c=1时缩放为(0.6,0.8)，方向不变、范数为1。阈值按任务和观测选择；已经出现非有限值时，应处理原因而非指望裁剪自动修复。

梯度长期很小：检查参数是否被冻结、是否进入优化器、计算图是否被切断、有效标签是否全被忽略，以及激活饱和和网络尺度。参数没更新不一定是数学意义的梯度消失，可能根本没有得到梯度。

混合精度问题：FP16下可用合适的Loss Scaling缓解数值下溢，并在反缩放后检查和裁剪；BF16指数范围较大，也不代表不会出现Inf/NaN。记录逐层梯度统计、裁剪频率与真实更新幅度，再通过验证集确认调整有效。

追问：加了残差和LayerNorm，还需要warmup吗？

可能需要。warmup限制训练初期的更新幅度；归一化位置会影响初始化时的梯度尺度。某篇论文在特定Pre-LN设置可去掉warmup，不等于所有模型、优化器与数据都能照搬。

对应教程

参考资料