先这样答
不推荐把 LoRA 插在 LayerNorm 后面。这是美团一面的原题。面试时直接给出否定倾向。
LayerNorm 的核心作用是稳定每一层的数据分布。它的参数量本来就非常小。给这么小的参数量加 LoRA 旁路，能节省的计算开销微乎其微。微调带来的整体收益非常有限。更重要的是，LayerNorm 对分布变化非常敏感。强行在它后面插入 LoRA 模块。这会改变输出特征的均值和方差。这容易扰动整个模型的训练过程。这会破坏原有预训练模型的归一化效果。模型容易出现训练不稳定的现象。
业界主流方案会避开 LayerNorm。常见做法是把 LoRA 模块插在注意力机制的投影矩阵上。前馈网络层的投影矩阵也是常规的插入位置。这些位置的参数矩阵非常庞大。微调这些权重矩阵能有效改变模型的特征表达。把 LoRA 放在这里既保证了微调效果，又维持了原有归一化层的稳定。开发者通常只针对这些巨大的投影矩阵应用低秩分解。
面试官会怎么追问
-
「为什么说 LayerNorm 的参数量小会导致插 LoRA 收益有限？」 LoRA 的设计初衷是通过低秩分解减少大矩阵的微调参数量。LayerNorm 本身的参数规模已经极小。在这里应用低秩分解无法进一步节省计算资源。开发者投入了额外的代码逻辑。这换不来参数量的实质下降。
-
「插入 LoRA 是怎么扰动 LayerNorm 训练稳定性的？」 LayerNorm 负责维持数据分布的稳定。LoRA 旁路会产生新的特征输出。这种新特征直接叠加在归一化结果上。这会改变数据的均值和方差。下一层网络接收到的数据分布就会发生偏移。
-
「除了注意力层，还有哪里适合插 LoRA？」 前馈网络层也是常规的插入位置。前馈层包含巨大的投影矩阵。微调前馈层的投影矩阵能提供足够的模型适配能力。这能有效补充注意力机制的微调效果。
回答的坑
错误地认为 LoRA 是一种可以无脑插入任何网络层的通用模块。
忽视 LayerNorm 对数据分布稳定性的敏感特质，只盯着参数更新去答题。
同系列的题