What is catastrophic forgetting in LLMs

1️⃣ 考察意图

面试官想考察你对 LLM 微调本质的理解深度，而非仅仅背诵“灾难性遗忘”定义。刁钻点在于：你是否能区分“参数覆盖”与“分布漂移”两种机制，并给出工程上可落地的缓解策略。答好了能展示：① 对持续学习（Continual Learning）理论的理解；② 对 PEFT（LoRA/Adapter）与回放策略（EWC/Replay）的实战取舍；③ 对 LLM 通用能力退化（如 AlpacaEval 分数下降）的敏感度。这是一道“理论+工程”双杀题。

2️⃣ 标准答

定义与本质灾难性遗忘指模型在学习新任务时，参数更新导致对旧任务知识的性能骤降。在 LLM 中，典型表现是：用代码数据微调后，模型在数学推理（如 GSM8K）上的准确率从 70% 跌至 40%。本质是两层：① 参数空间重叠：新任务梯度更新覆盖了旧任务的关键权重（如 FFN 层中存储事实知识的神经元）；② 分布漂移：新数据分布（如代码语法）与旧分布（如自然语言问答）差异大，模型被迫“忘记”旧模式。

在 LLM 中的具体表现

通用能力退化：微调后，模型在 MMLU、HellaSwag 等基准上分数下降 5-15%。
知识遗忘：例如，微调于代码后，模型无法回答“法国首都是什么？”（事实知识被覆盖）。
指令遵循能力下降：微调于特定格式后，模型对开放域指令的响应变差。

缓解策略（工程取舍）

PEFT（LoRA/Adapter）：
原理：冻结原参数，仅训练低秩矩阵（LoRA rank=8-64）。
取舍：参数量减少 99%，但 rank 过小（<8）会限制新任务表达能力；rank 过大（>128）则接近全量微调，遗忘风险回升。
坑：LoRA 的 alpha 缩放因子需与 rank 匹配（通常 alpha=2*rank），否则梯度不稳定。
回放（Experience Replay）：
原理：混合旧任务数据（如 10% 原始预训练数据）与新任务数据一起训练。
取舍：回放比例过高（>30%）会拖慢新任务收敛；比例过低（<5%）遗忘抑制效果差。
实战：使用“核心集选择”（如 Herding 算法）从旧数据中抽取代表性样本，而非随机采样。
正则化（EWC / SI）：
原理：对重要参数施加 L2 惩罚，阻止其大幅更新。EWC 通过 Fisher 信息矩阵计算参数重要性。
取舍：EWC 需要额外计算 Fisher 矩阵（耗时），且 lambda 超参数敏感（lambda=1e5 时遗忘抑制好但新任务性能下降 10%）。
坑：Fisher 矩阵需在旧任务上重新前向传播，若旧数据不可用则无法使用。
多任务学习：
原理：同时训练新旧任务，避免顺序更新。
取舍：需要同时维护多个任务的数据集，且任务冲突时（如代码 vs 情感分析）可能导致“负迁移”。
实战：使用“任务平衡采样”（如按任务难度动态调整采样权重）缓解冲突。

评估方法

持续学习基准：CLAM（Continual Learning Assessment for Models）测试遗忘曲线，计算“平均准确率”和“遗忘率”。
通用能力监控：在微调过程中，定期在 MMLU、AlpacaEval 上评估，若分数下降 >5% 则停止训练或调整策略。
知识探测：使用“知识神经元”定位方法（如 Knowledge Neurons in LLMs），观察特定事实对应的神经元激活变化。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，灾难性遗忘的本质是参数覆盖和分布漂移，在 LLM 中表现为通用能力下降；第二，缓解策略包括 PEFT（LoRA）、回放（核心集选择）和正则化（EWC），各有取舍——LoRA 省参数但 rank 需调优，回放效果好但需旧数据；第三，评估需用 CLAM 基准和通用能力监控。总结一句：工程上优先用 LoRA + 小比例回放，理论分析用 EWC 做对比实验。”

4️⃣ 高频追问 & 应对

追问 1：你提到 LoRA 能缓解遗忘，但为什么 LoRA 本身不会遗忘？如果 LoRA 的 rank 设为 1 会怎样？

应对策略：LoRA 不遗忘是因为原参数冻结，新知识仅存储在低秩矩阵中，不干扰旧知识。rank=1 时，表达能力极弱，新任务性能可能下降 20-30%（如代码生成 BLEU 从 60% 跌至 40%），但遗忘率几乎为 0。取舍：rank 需在 8-64 之间平衡，rank=8 时遗忘率 <5%，新任务性能保留 90% 以上。可引用 LoRA 论文（Hu et al., 2021）中 rank 对下游任务的影响实验。

追问 2：如果旧数据不可用（如隐私限制），你如何做回放？

应对策略：使用“生成式回放”——用旧模型生成伪数据（如通过 few-shot 提示生成旧任务样本）。坑：生成数据可能包含噪声，需用“置信度过滤”（如 logit 概率 >0.9 才保留）。另一种方案：使用“权重插值”（如 Model Soup），将微调后权重与原始权重按比例混合（如 0.7 新 + 0.3 旧），简单有效但牺牲新任务性能。实战中，我曾在 LLaMA-2-7B 上使用生成式回放，遗忘率从 15% 降至 8%，但生成数据量需为原始数据的 2 倍。

追问 3：你如何判断一个参数是否“重要”？EWC 的 Fisher 信息矩阵计算有什么坑？

应对策略：重要性通过 Fisher 信息矩阵的对角线衡量，值越大表示参数对旧任务越关键。坑：① Fisher 矩阵需在旧任务上做多次前向传播（通常 100-500 次），计算开销大；② 若旧任务数据分布与训练时不同，Fisher 估计不准；③ 对角线近似忽略了参数间相关性，可能导致次优惩罚。替代方案：使用“SI”（Synaptic Intelligence）在线计算重要性，无需 Fisher 矩阵，但精度略低。实战中，我通常用 200 次采样计算 Fisher，lambda 从 1e4 开始网格搜索。

5️⃣ 避坑 · 常见错误答法

❌ 说“灾难性遗忘只发生在全量微调中，LoRA 完全避免遗忘” → ✅ 正确：LoRA 能大幅缓解但无法完全避免，当 rank 过大或学习率过高时仍有遗忘风险（如 rank=128 时遗忘率约 3-5%）。
❌ 说“EWC 是最好的缓解方法，因为它不需要旧数据” → ✅ 正确：EWC 需要旧数据计算 Fisher 矩阵，若旧数据不可用则无法使用；且 lambda 调参困难，实际工程中 LoRA + 回放更稳定。
❌ 说“评估遗忘只需看新任务性能” → ✅ 正确：需同时看旧任务性能（如 MMLU 分数）和新任务性能，用“遗忘率 = 旧任务性能下降百分比”量化。

6️⃣ 简历呼应

如果你有 RAG 项目：从“知识更新与遗忘”角度切入，描述在微调检索器（如 DPR）时，如何用 EWC 防止旧文档检索精度下降，并给出具体遗忘曲线（如 Top-5 准确率从 85% 降至 70% 后通过回放恢复至 82%）。
如果你只做过传统 NLP：用“多任务学习”类比，说明在 BERT 上微调时，如何通过“任务平衡采样”防止情感分析任务遗忘 NER 任务，并引用持续学习论文（如 iCaRL）中的核心集选择方法。
如果你是校招无项目：聚焦 LLaMA-2 上的复现实验，描述在 Hugging Face 上用 LoRA 微调于数学推理（GSM8K）和代码生成（HumanEval），用 CLAM 基准绘制遗忘曲线，并对比 EWC 和回放的效果。
“Overcoming Catastrophic Forgetting in Neural Networks” (Kirkpatrick et al., 2017) - EWC 原始论文
“LoRA: Low-Rank Adaptation of Large Language Models” (Hu et al., 2021) - PEFT 核心方法
“Continual Learning for LLMs: A Survey” (Wang et al., 2024) - 综述，含 CLAM 基准
“Experience Replay for Continual Learning” (Rolnick et al., 2019) - 回放策略详解
“Knowledge Neurons in Pretrained Transformers” (Dai et al., 2022) - 知识定位与遗忘分析

—— 本场面试完 ——