LayerNorm 和 BatchNorm 什么区别？Pre-LN 和 Post-LN 差在哪？

先这样答

这道题可以从 NLP 为什么弃用 BN 说起，再切入 LN 的机制，最后对比 Pre-LN 和 Post-LN 的取舍。

BatchNorm 和 LayerNorm 的核心区别在于归一化的维度方向。BatchNorm 是对同特征跨样本进行归一化，计算依赖批次内的统计量。这种机制在 NLP 任务中遇到两个问题：一是文本序列长度通常可变，BN 处理变长序列时统计量会波动；二是当批次较小时，统计结果不稳定。因此，NLP 领域转向了 LayerNorm。LayerNorm 是对单个样本的全特征维度归一化，计算过程完全独立于批次大小——这是变长序列的必然选择。

Pre-LN 和 Post-LN 的差异在于归一化操作放在残差分支的前面还是后面。原始 Transformer 使用 Post-LN，即在残差连接之后做归一化。Post-LN 的理论表达上限较高，但随着网络加深，梯度流动容易失控导致训练不稳定，通常需设置 warmup 来精调。为解决此问题，业界主流转向 Pre-LN，即在进入注意力或前馈网络前先做归一化。Pre-LN 的优势是梯度流动更平稳，深层网络好训练，代价是理论表达上限略降。

在实际大模型工程中，目前的基座模型基本采用 Pre-LN 架构，并且通常会将 LayerNorm 替换为去除了均值中心化的 RMSNorm。

面试官会怎么追问

• 「你刚才提到现在很多模型用 RMSNorm，它和标准的 LayerNorm 有什么不同？」 RMSNorm 是 LayerNorm 的减法简化版。它去除了均值中心化操作，只做方差归一化。这种简化保留了归一化效果，同时减少了计算开销，是现代基座模型的标配。
• 「为什么 Post-LN 在深层网络中需要 warmup 才能稳定训练？」 在 Post-LN 结构中，残差分支和主分支相加后再做归一化，导致深层参数的梯度方差随层数累加而变大。若不用 warmup 限制早期学习率，模型初期的梯度更新会过于剧烈，容易引发训练崩溃。
• 「Pre-LN 牺牲了表达上限，具体体现在哪里？」 Pre-LN 在主干网络上没有直接的归一化拦截，每层输出直接加到主干上。随层数增加，主干特征方差变大，导致深层网络的有效学习率变小。这使得深层网络对最终输出的贡献受限，不如 Post-LN 能充分利用每层的表达能力。

回答的坑

认为 BatchNorm 在任何场景下都不如 LayerNorm 是常见误区，正确答法是强调 BatchNorm 受限于变长序列特性。

单纯回答 Pre-LN 比 Post-LN 更好是不准确的，正确方向是指出这是一组关于训练稳定性和模型表达上限的工程取舍。