| Q94 | What are the strengths and limitations of full fine-tuning
1️⃣ 考察意图
面试官想看你能否辩证分析全量微调（Full Fine-Tuning）的工程取舍，而非单纯背诵概念。这是典型的“系统设计+工程取舍”题，刁钻点在于：多数人只提“效果好、成本高”的浅层对比，但真正加分的是能否量化资源消耗（如显存、时间）、指出灾难性遗忘的触发边界、以及结合LoRA/Adapter等PEFT方法给出决策树。答好了能展示你对模型训练全流程的掌控力，包括反向传播、梯度更新、存储开销等底层理解。
2️⃣ 标准答
全量微调指在预训练模型基础上，更新所有参数（包括Transformer层、embedding层、bias等）以适应下游任务。其核心是全参数参与梯度下降，与PEFT方法（如LoRA、Adapter、Prefix Tuning）形成对比。
优势：
- 理论性能上限高：所有参数均可调，能最大程度适配目标分布。例如在GLUE/SQuAD等任务上，全量微调通常比LoRA（rank=8）高0.5-2个点（具体取决于数据量）。
- 任务差异大时更有效：当下游任务与预训练语料差异显著（如法律合同分类 vs 通用文本），全量微调能彻底重塑特征空间，而LoRA受限于低秩假设可能欠拟合。
- 无额外推理延迟：微调后模型结构与原模型完全一致，推理时无需合并权重或插入额外模块（对比Adapter需串行计算）。
局限：
- 显存与计算成本爆炸：以LLaMA-7B为例，全量微调需存储：模型权重（14GB FP16）+ 优化器状态（AdamW需2倍权重大小，即28GB）+ 梯度（14GB）+ 激活值（取决于batch size，通常额外10-20GB）。单卡A100-80GB仅能容纳batch size=1-2。而LoRA仅需存储低秩矩阵（约0.1-0.5%参数量），显存需求可降至20-30GB。
- 灾难性遗忘风险高：全量微调会覆盖预训练知识。例如在代码补全任务上全量微调后，模型可能丧失通用对话能力。实验表明，微调超过10万步后，原始预训练分布偏移可达15-20%（基于MMLU评测）。
- 小数据过拟合：当数据量<1万条时，全量微调容易记住噪声，导致泛化下降。此时LoRA的隐式正则化（低秩约束）反而更优。
- 存储与部署成本：每个下游任务需保存完整模型副本（7B模型约14GB），而LoRA仅需保存几MB的adapter权重，便于多任务切换。
工程取舍点：
- 何时选全量微调：数据量>10万条、任务与预训练分布差异大（如从英文到多语言）、有充足GPU资源（如8×A100集群）。典型场景：领域大模型（如BloombergGPT）或指令微调（如LLaMA-2-Chat）。
- 何时弃全量微调：数据量<1万条、需快速迭代多个任务、资源受限（单卡或消费级GPU）。此时LoRA+量化（QLoRA）是主流方案。
- 混合策略：先全量微调基座模型（如用100万条领域数据），再对特定任务用LoRA微调，平衡性能与成本。
实际落地的坑+解法：
- 坑：全量微调后模型输出分布偏移，导致生成质量下降（如重复、语法错误）。解法：在微调数据中混入10-20%的原始预训练数据（如C4子集），或使用EWC（Elastic Weight Consolidation）正则化约束参数变化。
- 坑：多卡训练时梯度同步开销大，batch size受限于显存。解法：使用ZeRO-3（DeepSpeed）或FSDP（PyTorch）分片优化器状态和梯度，可将单卡显存降低40-60%。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从性能、资源、风险三个层面回答。性能上，全量微调理论上限高，适合任务差异大的场景；资源上，显存和存储成本是LoRA的10-100倍，需ZeRO/FSDP等分布式策略；风险上，小数据易过拟合，大数据易灾难性遗忘。总结一句：全量微调是‘高投入高回报’方案，在数据充足、资源充裕时优先，否则用LoRA/QLoRA替代。”
4️⃣ 高频追问 & 应对
追问 1：你提到全量微调容易灾难性遗忘，具体怎么量化？有没有缓解方法？
量化方式：在微调前后分别评测通用任务（如MMLU、HellaSwag），计算性能下降百分比。例如LLaMA-7B在代码微调后，MMLU分数从38.9降至32.1（降幅17.5%）。缓解方法：1）EWC正则化，在损失函数中加入参数重要性权重（Fisher信息矩阵），约束关键参数变化；2）数据混合，在微调数据中混入20%原始预训练数据（如C4）；3）多任务学习，同时优化下游任务和通用任务损失。
追问 2：如果只有单卡A100-80G，想全量微调LLaMA-13B（26GB FP16），怎么实现？
单卡A100-80G无法直接全量微调13B模型，因为优化器状态+梯度+激活值远超80GB。解法：1）使用QLoRA（4-bit量化+LoRA），显存需求降至20GB；2）使用DeepSpeed ZeRO-3+CPU Offload，将优化器状态和梯度卸载到CPU内存（需足够RAM，如128GB），但训练速度下降3-5倍；3）梯度累积+微batch size（如batch size=1），但需注意BN层统计量更新问题。实际推荐：用QLoRA或LoRA+量化，性能损失通常<2%。
追问 3：全量微调和LoRA在收敛速度上有什么区别？为什么？
全量微调收敛更快（通常少30-50%步数），因为所有参数同时更新，梯度信号更强。LoRA收敛慢，因为低秩矩阵（如rank=8）限制了参数空间，需要更多步数探索。但LoRA单步计算更快（反向传播仅更新少量参数），实际总时间可能相近。例如在GLUE-RTE任务上，全量微调需500步（每步2秒），LoRA需800步（每步0.5秒），总时间分别为1000秒 vs 400秒，LoRA反而更快。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“全量微调一定比LoRA效果好” → ✅ 正确说法：全量微调理论上限高，但实际在小数据或资源受限场景下，LoRA因正则化效果可能泛化更好。需给出具体数据（如GLUE上LoRA与全量差距<1%）。
- ❌ 只提“成本高”但不量化 → ✅ 必须给出具体数字：LLaMA-7B全量微调需约70GB显存（batch size=1），而LoRA仅需20GB。存储上，全量需14GB/任务，LoRA仅需几MB。
- ❌ 忽略灾难性遗忘的工程解法 → ✅ 必须提到EWC、数据混合、多任务学习等具体方法，而非只说“有风险”。
6️⃣ 简历呼应
- 如果你有RAG项目：从“全量微调检索模型 vs 冻结编码器”切入，对比DPR全量微调与ColBERT的late interaction方案，强调全量微调在query-doc分布差异大时的优势。
- 如果你只做过传统NLP：用“BERT全量微调 vs Adapter”类比，说明全量微调在GLUE任务上的性能优势（如+0.8% F1），但需注意过拟合风险（小数据时用dropout+早停）。
- 如果你是校招无项目：聚焦“LLaMA-7B全量微调实验”，复现Alpaca指令微调流程，对比LoRA（Alpaca-LoRA）的显存、时间和性能差异，展示对训练框架（DeepSpeed/FSDP）的理解。
- 《LoRA: Low-Rank Adaptation of Large Language Models》（Hu et al., 2021）
- 《QLoRA: Efficient Finetuning of Quantized Language Models》（Dettmers et al., 2023）
- 《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》（Lialin et al., 2023）
- 《Overcoming Catastrophic Forgetting in Neural Networks》（Kirkpatrick et al., 2017，EWC论文）
- DeepSpeed ZeRO-3 官方文档：ZeRO Optimization for Large Model Training