What is catastrophic forgetting, and why is it a concern in fine-tuning
1️⃣ 考察意图
面试官想看你是否真正理解“微调”的代价，而不是只会跑脚本。这题表面是背概念，实则考察 模型稳定性与泛化性的工程取舍。刁钻点在于：候选人往往只提“用旧数据混合训练”这种粗浅解法，却说不清为什么 PEFT（LoRA/Adapter）能缓解遗忘、EWC 的 Fisher 信息矩阵到底在算啥。答好了能展示你对 参数空间约束、数据分布偏移、持续学习 三个维度的硬核理解，证明你不仅能调模型，还能设计稳定、可迭代的训练流程。
2️⃣ 标准答
定义与本质灾难性遗忘（Catastrophic Forgetting）指模型在微调新任务时，过度拟合新数据分布，导致预训练阶段学到的通用知识被覆盖。本质是参数更新时，新任务的梯度方向与旧任务的最优解区域冲突，模型从“宽泛的局部极小值”滑向“尖锐的新任务极小值”。
为什么在 LLM 微调中尤其严重
- 参数规模巨大：70B 模型有 1750 亿参数，全量微调（Full Fine-Tuning）会扰动所有层，哪怕只训 1 万条法律合同，也可能让模型忘记“苹果是水果”这种常识。
- 数据分布偏移：预训练数据是互联网通用语料（Reddit、维基百科），微调数据往往是窄领域（医疗报告、客服对话），两者分布差异大。
- 评估陷阱：很多人只看微调后的领域任务指标（如法律问答准确率 95%），却忽略通用基准（MMLU）从 70% 掉到 50%，这叫 “指标幻觉”。
缓解策略（按工程优先级排序）
- PEFT（参数高效微调）：LoRA 或 Adapter 只更新少量参数（通常 <1%），冻结主干。为什么有效：新知识被压缩到低秩子空间，不会覆盖预训练主参数。实际坑：LoRA rank 设太大（如 128）仍会遗忘，建议 rank=8-16，且只在 attention 层加 LoRA。
- 混合训练（Replay）：微调时混入 10%-30% 的预训练数据（或通用 SFT 数据）。工程取舍：数据比例是关键——领域数据太多会遗忘，通用数据太多则领域任务学不好。经验值：法律微调时，领域:通用 = 1:3 效果最优（来自 Alpaca 论文的消融实验）。
- 弹性权重巩固（EWC）：在损失函数中加入正则项，约束对旧任务重要的参数变化小。核心公式：L=L_{\mathrm{new}}+\lambda\sum_i F_i\left(\theta_i-\theta_{i,\mathrm{old}}\right)^2，其中 F_i 是 Fisher 信息矩阵的对角线，衡量参数 i 对旧任务的重要性。实际落地的坑：计算 Fisher 矩阵需要遍历旧数据，成本高；且 \lambda 超参数敏感，建议用 100–1000 范围做网格搜索。
- 多任务学习：同时训练多个任务（如法律 + 通用 QA + 摘要），让模型共享底层表示。为什么好：相当于天然的数据增强，减少单一任务过拟合。但注意任务冲突（如法律严谨 vs 创意写作），需要任务权重调参。
- 渐进式微调：先在大规模通用数据上微调（如 10 万条），再逐步加入领域数据。原理：让模型平滑过渡，避免一步跳到新分布。
评估方法必须做 双基准测试：
- 领域任务（如法律合同 NER）
- 通用基准（MMLU、HellaSwag、BIG-bench）如果领域任务涨 5 个点但通用掉 10 个点，说明灾难性遗忘严重，需要调整策略。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从定义、原因、缓解三个层面回答。定义上，灾难性遗忘是微调新任务导致预训练知识被覆盖；原因在于参数更新偏离旧分布，尤其 LLM 参数多、数据分布差异大。缓解策略按工程优先级：首选 PEFT（LoRA rank=8-16），其次混合训练（领域:通用=1:3），高阶用 EWC 加 Fisher 正则。总结一句：微调不是无代价的，必须用双基准（领域+通用）量化遗忘程度，再选对应策略。”
4️⃣ 高频追问 & 应对
追问 1：EWC 的 Fisher 信息矩阵具体怎么算？为什么只取对角线？
计算 Fisher 矩阵需要遍历旧任务数据，对每个样本计算梯度 g_i，然后 F_i = E[g_i^2]。取对角线是假设参数独立，忽略协方差，因为全矩阵计算量是 O(n^2)（n 是参数数），对 7B 模型不可行。实际用对角线近似，虽然丢失参数间相关性信息，但工程上可接受。注意：Fisher 矩阵需在旧任务最优参数处计算，且数据量至少 1 万条才稳定。
追问 2：LoRA 为什么能缓解遗忘？如果 rank 设 256 会怎样？
LoRA 通过低秩分解 W = W_0 + BA，只更新 B 和 A（秩 r）。r 小意味着新知识被压缩到低维子空间，不会覆盖预训练主参数 W_0。如果 r=256，相当于更新了 256 维的完整矩阵，接近全量微调，遗忘风险大增。经验上，r=8-16 在 LLaMA 系列上效果最好，兼顾领域任务性能和通用知识保留。
追问 3：混合训练时，领域数据和通用数据的比例怎么定？有没有自动调参方法？
手动调参常用网格搜索（如 1:1, 1:3, 1:5），但成本高。自动方法可以用 动态数据采样：在训练过程中监控领域任务和通用基准的 loss，当通用 loss 上升时增加通用数据比例。更高级的用 Gradient Surgery（PCGrad 方法），在梯度层面解决冲突：如果领域梯度和通用梯度夹角 > 90°，则投影领域梯度到通用梯度的正交方向。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“灾难性遗忘只发生在全量微调，PEFT 完全不会遗忘” → ✅ 正确说法：PEFT 只是大幅降低遗忘风险，不是零遗忘。LoRA rank 过大或学习率过高（>1e-4）仍会导致通用知识退化，必须用双基准验证。
- ❌ 说“EWC 是万能解法，加个 λ 就行” → ✅ 正确说法：EWC 需要计算 Fisher 矩阵，成本高且 λ 敏感。实际工程中，混合训练 + PEFT 是更鲁棒的首选，EWC 只在数据量极小（<1000 条）时才有明显优势。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索增强微调”角度切入——RAG 本身不更新模型参数，但如果你微调了检索器（如 DPR），灾难性遗忘会发生在检索器上，导致召回率下降。可以提你如何在微调时用 EWC 保护通用检索能力。
- 如果你只做过传统 NLP：用“持续学习”类比迁移——灾难性遗忘在 NLP 中类似“过拟合”，但区别在于它影响的是预训练知识而非训练集。可以提你如何在 BERT 微调时用混合训练（通用 NER + 领域 NER）缓解遗忘。
- 如果你是校招无项目：聚焦论文复现——读过《Overcoming Catastrophic Forgetting in Neural Networks》（EWC 论文）和《LoRA: Low-Rank Adaptation of Large Language Models》，可以详细讲 Fisher 矩阵计算和 LoRA 的 rank 选择实验。
- 《Overcoming Catastrophic Forgetting in Neural Networks》（Kirkpatrick et al., 2017）——EWC 原始论文
- 《LoRA: Low-Rank Adaptation of Large Language Models》（Hu et al., 2021）——PEFT 缓解遗忘的经典工作
- 《Don't Stop Pretraining: Adapt Language Models to Domains and Tasks》（Gururangan et al., 2020）——混合训练与渐进式微调
- 《Gradient Surgery for Multi-Task Learning》（Yu et al., 2020）——PCGrad 方法解决梯度冲突
- 《Scaling Laws for Fine-Tuning》（Kaplan et al., 2020）——微调数据比例与遗忘的定量分析