BatchNorm、LayerNorm、RMSNorm 与 GroupNorm 的统计维度和适用条件有什么区别？

• 【BN与LN作用维度】BN与LN作用维度：给定三维矩阵bsz×seq_len×dim，BN/LN分别作用在哪个维度？ 「京东」

• 【Normalization位置】Normalization是放在激活函数之前还是之后？放在之前有什么好处？ 「百度」

• 【归一化对比】层归一化（LN）和RMS归一化的区别？以及LN和批归一化（BN）的区别？ 「字节跳动」

• 【归一化方法概述】Normalization有哪些，有什么作用？ 「字节Seed」

归一化领域差异与选择

• CNN和Transformer分别使用哪种归一化方式？
• LN和残差连接作用，
• Transformer能用BN吗？图像领域和文本领域归一化不同，有什么区别？

归一化层实现与对比：

• BN和Dropout在训练和推理时的差异？CNN中BN训练推理计算差异？
• LayerNorm与BatchNorm原理、区别、使用场景？为什么Transformer和LLM使用LN而不用BN？从NLP/CV任务特性、序列长度可变性、训练稳定性解释。
• NLP中句子长度不一致用BN的后果？

• 【归一化梯度】易混淆点:LayerNorm和BatchNorm在训练时的梯度计算区别? 请详细分析两者在梯度计算上的差异，包括对均值和方差求导的过程，以及这些差异对训练稳定性和效果的影响。 「阿里巴巴」

过拟合与欠拟合 另外，请说明BN和LN的区别及适用场景，以及梯度爆炸问题、残差连接和模型参数初始化的相关内容。

• 另外，请说明BN和LN的区别及适用场景，