| Q89 | What are the different types of LLM fine-tuning
1️⃣ 考察意图
面试官想考察你对 LLM 微调生态的全局认知，而非死记硬背分类。刁钻点在于：能否区分“全参数微调”与“参数高效微调（PEFT）”的适用场景，并解释为什么指令微调（Instruction Tuning）和对齐微调（RLHF/DPO）本质上是不同的优化目标。答好了能展示你对训练成本、数据需求、过拟合风险、以及模型能力边界（如灾难性遗忘）的工程直觉，这是大模型落地中区分初级和高级工程师的关键。
2️⃣ 标准答
LLM 微调按参数更新范围和目标分为三大类，每类有明确的工程取舍。
1. 全参数微调（Full Fine-Tuning）
- 做法：更新模型所有参数（如 LLaMA-7B 的 70 亿参数），通常用 AdamW 优化器，学习率设为 1e-5 量级。
- 适用：数据量充足（>10 万条高质量样本）、计算资源充裕（如 8×A100 训练 1-2 天）。
- 坑与解法：灾难性遗忘是常见问题。例如在医疗领域微调后，模型可能丢失通用对话能力。解法：混合 10-20% 原始预训练数据（如 C4 子集）作为 replay buffer，或使用 EWC（Elastic Weight Consolidation）正则化。
- Trade-off：效果好但成本高。全参数微调一个 7B 模型需约 140GB 显存（FP16），而 LoRA 仅需 16GB。
2. 参数高效微调（PEFT）
- LoRA（Low-Rank Adaptation）：冻结原权重，插入低秩矩阵（rank=8 或 16）。例如在 LLaMA 的 Q 和 V 投影层上加 LoRA，参数量仅 0.1-1%。为什么 rank 选 8 而非 64？ 经验表明 rank 超过 16 收益递减，且增大 rank 会线性增加显存，性价比不高。
- Adapter：在 Transformer 每层后插入 bottleneck 层（降维再升维），参数量约 3-5%。坑：推理时需合并权重，增加延迟；LoRA 可合并回原权重，推理零开销。
- Prefix Tuning / Prompt Tuning：在输入前加可学习的虚拟 token（如 100 个 token）。适用：生成任务（如摘要），但判别任务（如分类）效果差，因为 prefix 会干扰注意力分布。
- 工程取舍：PEFT 适合数据量少（<1 万条）或快速迭代场景。例如在电商客服场景，用 LoRA 微调 7B 模型，单卡 A100 只需 2 小时，而全参数微调需 20 小时。
3. 指令微调与对齐微调
- 指令微调（Instruction Tuning）：用（指令，回答）对训练，如 Alpaca 的 52k 数据。关键：数据多样性比数量更重要。例如混合 10 种任务类型（翻译、推理、摘要）比单一任务 10 万条效果好。
- 对齐微调（RLHF / DPO）：目标从“模仿回答”变为“符合人类偏好”。RLHF 需训练奖励模型（RM），DPO 直接优化策略。坑：RLHF 训练不稳定，需调 KL 散度系数（如 0.04）；DPO 更稳定但需高质量偏好数据（如 Anthropic 的 HH-RLHF 数据集）。
- 区分：指令微调提升指令遵循能力，对齐微调抑制有害输出。例如在医疗场景，先用领域数据做全参数微调，再用 DPO 做安全对齐，两步不可合并。
4. 领域微调（Domain Adaptation）
- 做法：在特定领域语料上继续预训练（如用 PubMed 论文微调 LLaMA）。注意：学习率需降至 1e-6，且只训练 1-2 个 epoch，否则过拟合。坑：领域数据分布偏移大时（如从通用语料到法律文书），需混合 30% 通用数据保持语言能力。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，按参数更新范围分，全参数微调效果好但成本高，PEFT（如 LoRA）适合资源受限场景；第二，按目标分，指令微调提升任务能力，对齐微调（RLHF/DPO）控制行为；第三，按数据分，领域微调需注意灾难性遗忘。总结一句：选型取决于你的数据量、计算预算和最终目标——是提升能力还是控制行为。”
4️⃣ 高频追问 & 应对
追问 1：你提到 LoRA 的 rank 选 8，为什么不是 4 或 32？有理论依据吗？
理论依据来自 LoRA 论文的消融实验：rank=1 时效果差，rank=8 达到饱和，rank=64 收益微乎其微。工程上，rank 增大线性增加参数量（如 rank=64 时参数量是 rank=8 的 8 倍），但性能提升不到 1%。实际中，如果任务简单（如情感分类），rank=4 就够；任务复杂（如代码生成），rank=16 更稳妥。可以补充：我曾在代码补全任务上对比 rank=8 和 rank=16，BLEU 仅差 0.3 但训练时间多 20%，所以选 rank=8。
追问 2：指令微调数据量不够怎么办？比如只有 500 条样本。
500 条样本做全参数微调必过拟合。解法：1）用 PEFT（如 LoRA）减少参数量；2）数据增强：用 GPT-4 生成相似指令（如改写、翻译），但需人工校验质量；3）混合通用指令数据（如 Alpaca 的 52k 条）做多任务学习，比例设为 1:10（领域:通用）。我曾在金融场景用 300 条样本 + LoRA + 混合数据，准确率从 60% 提到 85%，而纯领域数据只到 72%。
追问 3：RLHF 和 DPO 哪个更适合生产环境？
DPO 更稳定，因为不需要训练奖励模型，减少了 RM 偏差和训练不稳定风险。但 DPO 依赖高质量偏好数据，如果数据噪声大（如标注员不一致），RLHF 的 RM 可以过滤噪声。工程上，如果团队有标注能力（如 10 万条偏好数据），选 DPO；如果只有少量数据（<1 万条），RLHF 的 RM 可复用开源模型（如 OpenAssistant 的 RM）。我曾在客服场景用 DPO，训练时间减少 40%，且有害输出率从 5% 降到 1%。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“全参数微调永远比 PEFT 好” → ✅ 正确：全参数微调在数据量少时过拟合严重，PEFT 通过低秩约束天然正则化，效果反而更好。例如在 1000 条样本的医疗任务上，LoRA 的 F1 比全参数高 5%。
- ❌ 把指令微调和 RLHF 混为一谈，说“都是让模型听话” → ✅ 正确：指令微调优化模仿能力（学习输入-输出映射），RLHF 优化偏好对齐（学习人类价值观）。前者用交叉熵损失，后者用 Bradley-Terry 模型或 DPO 损失，训练数据格式完全不同。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“微调 vs RAG”的取舍切入。例如在问答场景，用 LoRA 微调检索器（如 DPR）比全参数微调更高效，且避免检索器过拟合。可以提你对比过 BM25 + LoRA 微调 vs 全参数微调，训练时间减少 70% 但 Recall@10 仅降 2%。
- 如果你只做过传统 NLP：用“迁移学习”类比。全参数微调类似在 BERT 上做 fine-tune，PEFT 类似 adapter 在 CV 中的应用。强调你对“灾难性遗忘”的理解，例如在情感分类任务中，用 EWC 正则化保持通用语言能力。
- 如果你是校招无项目：聚焦论文复现。例如复现 LoRA 在 LLaMA-7B 上的效果，用 Hugging Face PEFT 库，在 Alpaca 数据集上训练，对比 rank=8 和 rank=64 的困惑度差异。可以提你发现 rank=8 时训练速度比 rank=64 快 3 倍，但困惑度仅差 0.1。
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
- DPO: Direct Preference Optimization (Rafailov et al., 2023)
- Instruction Tuning: Training Language Models to Follow Instructions (Ouyang et al., 2022)
- PEFT 库: Hugging Face PEFT (GitHub)
- 灾难性遗忘: Overcoming Catastrophic Forgetting in Neural Networks (Kirkpatrick et al., 2017)