What are the strengths and limitations of full fine-tuning
1️⃣ 考察意图
面试官想看的不是“全微调能调所有参数”这种表面答案，而是你能否在资源、数据、性能三角中做出工程取舍。这道题属于工程取舍分析类型，刁钻点在于：候选人常只背优点（性能好）和缺点（贵），但说不清“什么时候必须用全微调，什么时候用 LoRA 反而更好”。答好了能展示你对模型训练全流程的掌控力——从显存计算、过拟合边界到灾难性遗忘的缓解策略，这是大模型应用岗的核心硬实力。
2️⃣ 标准答
全微调（Full Fine-Tuning）指更新预训练模型的所有参数，与 PEFT（如 LoRA）形成对比。以下从优势、局限、适用场景三个维度展开，并给出工程落地中的具体取舍。
优势
- 理论性能上限最高：所有参数可调，模型能完全适应目标分布。例如在领域迁移（如通用模型→法律文书）中，全微调可让 attention 层和 FFN 层都学到领域特有模式，而 LoRA 受限于低秩假设（通常 rank=8~64），可能丢失高频交互。
- 数据效率高：当数据量足够（如 >10k 条高质量样本）且任务与预训练分布差异大时，全微调能更快收敛到更优解。一个实际案例：在金融 NER 任务上，全微调在 5k 样本下 F1 比 LoRA 高 3-5 个点。
- 无额外推理延迟：微调后模型结构与原模型一致，部署时无需合并权重或加载 adapter，推理吞吐量不变。这对延迟敏感场景（如实时对话）是硬性优势。
局限
- 计算与存储成本极高：以 LLaMA-7B 为例，全微调需约 56GB 显存（batch_size=1, fp16），而 LoRA 仅需 16GB。成本来自：① 梯度需存储所有参数（7B * 2 bytes = 14GB）；② optimizer states（Adam 需 3 倍参数内存）。实际落地中，全微调常需 4-8 张 A100，而 LoRA 单卡 24GB 即可。
- 过拟合风险高：当数据量 <1k 条时，全微调极易记住噪声。一个坑：在客服意图分类任务中，全微调在 500 条数据上训练 3 个 epoch 后，验证集准确率 98%，但测试集上对未见过的同义表达完全失效——这是典型的“记忆而非泛化”。解法：使用早停（patience=3）和权重衰减（weight_decay=0.01），并监控训练/验证 loss 差距。
- 灾难性遗忘严重：全微调会覆盖预训练知识。例如微调后的模型在领域任务上表现优异，但通用能力（如常识问答）可能下降 10-20%。实际工程中，常通过混合训练（领域数据 + 通用数据按 1:1 比例）或 EWC（Elastic Weight Consolidation）缓解，但会增加训练复杂度。
适用场景
- 数据量充足：>10k 条高质量样本，且任务与预训练分布差异大（如代码模型→医疗报告生成）。
- 资源充裕：有 4-8 张 A100 或同等算力，且能接受训练时间（全微调通常比 LoRA 慢 2-3 倍）。
- 推理延迟敏感：如线上服务不能容忍 adapter 合并开销（虽然 LoRA 合并后无延迟，但需额外步骤）。
工程取舍总结：全微调是“用算力换性能”的极端方案。在资源受限或数据不足时，LoRA 是更稳健的选择；但若追求领域极致性能且预算充足，全微调仍是首选。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从优势、局限、适用场景三个层面回答。优势是理论性能上限最高、数据效率高、无额外推理延迟；局限是计算存储成本极高、易过拟合、灾难性遗忘严重；适用场景是数据量>10k、资源充裕、延迟敏感。总结一句：全微调是‘用算力换性能’的方案，在资源充足且数据量大时首选，否则优先考虑 LoRA。”
4️⃣ 高频追问 & 应对
追问 1：你说全微调易过拟合，那具体怎么判断是否过拟合？有什么量化指标？
用训练/验证 loss 差距和验证集准确率波动来判断。具体方法：① 监控训练 loss 持续下降但验证 loss 上升（gap > 0.1 时警惕）；② 验证集准确率在某个 epoch 后不再提升甚至下降；③ 使用早停（patience=3）和权重衰减（weight_decay=0.01）。量化指标：如果训练集准确率 > 99% 但验证集 < 90%，说明过拟合。实际工程中，还会用 k-fold 交叉验证（5-fold）来确认泛化能力。
追问 2：全微调和 LoRA 在显存占用上具体差多少？能给出数字吗？
以 LLaMA-7B 为例，batch_size=1, fp16：全微调需要约 56GB 显存（模型参数 14GB + 梯度 14GB + optimizer states 28GB），而 LoRA 仅需 16GB（模型参数 14GB + 可训练参数 0.1GB + 梯度 0.1GB + optimizer states 0.2GB）。实际落地中，全微调至少需要 4 张 A100（80GB），而 LoRA 单卡 24GB 即可。如果使用 gradient checkpointing，全微调可降至 40GB，但训练时间增加 20%。
追问 3：灾难性遗忘怎么缓解？除了混合训练还有别的方法吗？
有三种主流方法：① 混合训练（领域数据 + 通用数据按 1:1 或 2:1 比例），这是最实用的；② EWC（Elastic Weight Consolidation），对重要参数施加正则化，但需计算 Fisher 信息矩阵，增加训练时间 30-50%；③ 知识蒸馏，用原模型作为 teacher，微调模型作为 student，但需额外训练步骤。实际工程中，混合训练最常用，因为简单且有效；EWC 适用于参数敏感场景（如医疗诊断），但计算成本高。
5️⃣ 避坑 · 常见错误答法
- ❌ “全微调性能一定比 LoRA 好” → ✅ “全微调理论性能上限更高，但实际中当数据量 <1k 时，LoRA 因正则化效果反而可能更好。例如在 few-shot 场景下，LoRA 的泛化能力常优于全微调。”
- ❌ “全微调太贵了，所以不用” → ✅ “全微调成本高，但适用场景明确：数据量大、任务与预训练分布差异大、延迟敏感。例如在金融领域定制化模型时，全微调是必要选择，不能一刀切否定。”
- ❌ “灾难性遗忘无法解决” → ✅ “灾难性遗忘可通过混合训练、EWC、知识蒸馏等方法缓解，虽然不能完全消除，但可将通用能力下降控制在 5% 以内。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“全微调 vs LoRA 在检索增强场景下的性能对比”切入，例如在文档检索任务中，全微调 reranker 比 LoRA 微调的 recall@10 高 5%，但训练成本高 3 倍，展示你的取舍能力。
- 如果你只做过传统 NLP：用“BERT 全微调 vs 冻结 embedding”类比，说明全微调在领域迁移中的必要性，并迁移到 LLM 场景，强调参数规模和显存计算。
- 如果你是校招无项目：聚焦“全微调与 LoRA 的显存计算”论文复现，例如用 Hugging Face 的
transformers库跑一个对比实验，记录训练时间、显存占用、验证 loss，展示你的动手能力和量化思维。 - 《LoRA: Low-Rank Adaptation of Large Language Models》（Hu et al., 2021）
- 《Catastrophic Forgetting in Neural Networks》（Kirkpatrick et al., 2017）
- 《Scaling Laws for Neural Language Models》（Kaplan et al., 2020）
- Hugging Face PEFT 库文档：全微调与 LoRA 的显存对比实验
- 《A Survey of Parameter-Efficient Fine-Tuning》（Xu et al., 2023）