为什么要冻结主模型
1️⃣ 考察意图
面试官想考察你对“参数冻结”背后原理和工程取舍的深度理解，而非简单背诵“避免灾难性遗忘”。这是典型的工程取舍 + 系统设计类问题，刁钻点在于：候选人常只答“防止过拟合”或“节省显存”，却忽略了冻结主模型在多任务学习、参数高效微调（PEFT）、知识蒸馏等场景下的核心矛盾——如何平衡“保留旧能力”与“学习新能力”。答好了能展示你对迁移学习、模型容量、梯度冲突的实战认知，以及能否在资源受限场景下做理性决策。
2️⃣ 标准答
核心动机：冻结主模型是为了在微调时保留预训练知识，避免灾难性遗忘，同时降低计算和存储开销。 但具体场景下，动机和实现方式有差异。
1. 参数高效微调（PEFT）场景
- 动机：全量微调（Full Fine-tuning）会更新所有参数，导致模型在目标任务上过拟合，同时丢失预训练学到的通用知识（如语法、常识）。冻结主模型后，只更新少量可训练参数（如LoRA的低秩矩阵、Adapter的瓶颈层），能保留预训练权重作为“锚点”。
- 工程取舍：LoRA（Hu et al., 2021）将权重更新分解为
W + ΔW = W + BA，冻结W，只训练A和B。这牺牲了模型容量（rank 限制），但换来了可插拔性——多个 LoRA 模块可动态切换，无需存储多个完整模型副本。例如，在 7B 模型上，全量微调需 28GB 显存（FP16），而 LoRA 仅需 16GB（冻结主模型后，梯度只计算 LoRA 部分）。 - 实际坑：冻结主模型后，如果 LoRA 的 rank 设置过低（如 r=1），模型可能无法捕捉目标任务的关键模式。解法：先用小规模实验扫描 rank（常见范围 8-64），观察验证集 loss 是否饱和。
2. 多任务学习场景
- 动机：共享编码器（如 BERT-base）处理多个任务（分类、NER、QA），冻结共享层可防止任务间梯度冲突。例如，任务 A 的梯度更新可能破坏任务 B 学到的特征表示。
- 工程取舍：冻结共享编码器后，每个任务只训练一个轻量级分类头（通常 2-3 层 MLP）。这牺牲了任务特定特征提取能力，但换来了训练稳定性和部署效率——所有任务共享同一个编码器推理结果，只需切换分类头。例如，在工业级多任务系统中，冻结编码器可减少 80% 的推理延迟。
- 实际坑：如果任务间差异极大（如情感分类 vs. 实体抽取），冻结编码器可能导致下游任务性能不足。解法：引入任务特定 Adapter（如 Pfeiffer et al., 2020），在编码器每层插入小模块，只更新 Adapter 参数，编码器仍冻结。
3. 知识蒸馏场景
- 动机：教师模型（如 GPT-4）冻结，学生模型（如 7B 模型）学习其输出分布。冻结教师模型确保蒸馏目标稳定，避免学生模型训练时教师参数漂移导致“移动目标”问题。
- 工程取舍：冻结教师模型后，学生模型只能通过 KL 散度逼近教师输出，无法利用教师内部的中间表示。这牺牲了蒸馏精度，但换来了训练效率——教师模型只需一次前向传播，生成 logits 缓存后即可复用。例如，在 Alpaca 数据上蒸馏 LLaMA，冻结教师模型可减少 50% 训练时间。
- 实际坑：教师模型输出 logits 的 softmax 温度设置不当（如温度过高），会导致学生模型学到过于平滑的分布。解法：使用温度扫描（常见范围 1-20），并监控学生模型在验证集上的困惑度。
4. 不冻结的风险
- 灾难性遗忘：全量微调时，模型参数向目标任务偏移，导致在源任务（如通用 QA）上性能下降 10-30%（【通用知识】）。例如，在 SQuAD 上微调 BERT-base 后，其在 MNLI 上的准确率可能从 84% 降至 72%。
- 梯度冲突：多任务学习中，不同任务的梯度方向可能相反（余弦相似度为负），导致训练震荡。冻结共享层可避免此问题。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，在 PEFT 场景下，冻结主模型是为了保留预训练知识，避免灾难性遗忘，同时通过 LoRA/Adapter 等模块实现可插拔部署；第二，在多任务学习中，冻结共享编码器可防止梯度冲突，提升训练稳定性；第三，在知识蒸馏中，冻结教师模型确保蒸馏目标稳定。总结一句：冻结主模型的核心是在‘保留旧能力’和‘学习新能力’之间做理性取舍，具体场景需权衡模型容量、训练效率和部署成本。”
4️⃣ 高频追问 & 应对
追问 1：如果冻结主模型后，目标任务性能不如全量微调，你会怎么优化？
首先分析原因：可能是 LoRA rank 过低（容量不足）或学习率过大（导致微调模块过拟合）。解法：1）增加 rank（如从 8 到 32），观察验证集 loss 是否下降；2）降低学习率（如从 1e-4 到 5e-5），并加入权重衰减（如 0.01）；3）如果仍不行，考虑部分解冻——冻结底层（通用特征层），微调顶层（任务特定层），例如在 BERT 中冻结前 6 层，微调后 6 层。这牺牲了部分通用性，但提升了任务适应性。
追问 2：在多任务学习中，如何判断哪些层应该冻结，哪些层应该微调？
使用梯度冲突检测：在训练初期，计算不同任务对每层参数的梯度余弦相似度。如果某层梯度相似度持续为负（冲突严重），则冻结该层；如果为正（协同），则微调。例如，在 T5 上做多任务微调时，通常冻结编码器前 6 层（通用特征），微调后 6 层和 decoder（任务特定）。工程上，可用 Hugging Face 的
freeze_layers工具快速实验。
追问 3：冻结主模型后，如何评估模型是否发生了灾难性遗忘？
在微调过程中，定期在源任务（如 GLUE 基准）上评估模型性能。如果源任务准确率下降超过 5%，说明发生了遗忘。解法：1）使用弹性权重巩固（EWC, Kirkpatrick et al., 2017），在损失函数中加入正则项，惩罚对重要参数的修改；2）使用记忆重放（Replay），在训练数据中混合 10-20% 的源任务样本。工业界常用 EWC + 冻结主模型的组合，在保留 90% 源任务性能的同时，提升目标任务 5-10% 的准确率。
5️⃣ 避坑 · 常见错误答法
- ❌ “冻结主模型是为了防止过拟合，因为全量微调会导致模型在训练集上过拟合。”→ ✅ “冻结主模型的核心动机是保留预训练知识，防止灾难性遗忘。过拟合可以通过正则化（如 dropout、权重衰减）解决，但遗忘是参数漂移导致的，冻结是更直接的解法。”
- ❌ “冻结主模型后，模型容量变小，所以性能会下降。”→ ✅ “冻结主模型并不直接降低模型容量，而是限制了参数更新空间。通过 LoRA 等 PEFT 方法，模型仍能学习新能力，只是牺牲了部分容量换取了可插拔性和训练效率。性能下降通常是因为 rank 设置不当或学习率过大，而非冻结本身。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“冻结检索模型 vs. 微调生成模型”切入，对比冻结主模型（如冻结 BGE embedding 模型）和全量微调（如微调 LLaMA）在检索准确率和生成质量上的 trade-off，强调冻结可避免检索知识漂移。
- 如果你只做过传统 NLP：用“冻结预训练词向量 vs. 微调词向量”类比，说明冻结主模型在迁移学习中的通用性，并提及 BERT 时代全量微调 vs. PEFT 的演进。
- 如果你是校招无项目：聚焦 LoRA 论文复现 demo，描述如何用 Hugging Face PEFT 库实现冻结主模型，对比冻结 vs. 全量微调在 GLUE 分数上的差异，展示对工程取舍的理解。
- Hu et al., 2021. LoRA: Low-Rank Adaptation of Large Language Models
- Pfeiffer et al., 2020. AdapterFusion: Non-Destructive Task Composition for Transfer Learning
- Kirkpatrick et al., 2017. Overcoming catastrophic forgetting in neural networks (EWC)
- Hugging Face PEFT 官方文档：Parameter-Efficient Fine-Tuning
- 博客：Why Freeze the Base Model in Fine-Tuning? (Lilian Weng)