| Q92 | How do you prevent overfitting during fine-tuning
1️⃣ 考察意图
面试官想考察你对微调过拟合的系统性工程思维，而非单纯背诵正则化名词。刁钻点在于：大模型时代，过拟合的根源已从“参数过多”转向数据质量与训练策略的失衡，尤其在小样本场景下，全量微调极易灾难性遗忘。答好了能展示你从数据清洗、参数高效微调到训练监控的完整流程能力，以及在不同规模模型（7B vs 70B）下的取舍判断。
2️⃣ 标准答
微调过拟合的核心是模型在训练集上记忆了噪声，而非学到泛化模式。我从四个层面构建防线：数据、参数效率、正则化、训练策略。
数据层面：源头治理
- 数据质量 > 数据量：用 10 条高质量、覆盖分布边缘的样本，远好于 1000 条重复或带噪数据。实战中，对指令微调数据做去重（MinHash + LSH）、过滤低质量（用 GPT-4 打分）、平衡类别分布（如长尾任务过采样）。
- 数据增强：对文本做回译（back-translation）、随机 Mask（类似 SpanBERT）、同义词替换。注意：增强幅度过大可能引入噪声，一般控制在 10-20% 的样本量。
- 坑与解法：小样本（<100 条）时，模型容易记住每条样本的“格式特征”（如标点、空格）。解法：在数据预处理时随机化格式（如统一用 Markdown 或纯文本），并加入 5-10% 的无关负样本（如“我不知道”类回答）来破坏记忆。
参数高效微调：核心武器
- LoRA：将可训练参数压缩到原模型的 0.1-1%（如 LLaMA-7B 用 rank=8 的 LoRA 仅约 4M 参数）。这天然抗过拟合，因为低秩矩阵限制了模型对训练集的拟合能力。为什么这么做：全量微调 7B 模型在 100 条数据上，loss 能降到 0.01，但验证集 loss 反而上升；LoRA 的 loss 收敛在 0.3 左右，泛化更好。
- Adapter / Prefix Tuning：类似思路，但 LoRA 在推理时无额外延迟（可合并权重），是工业界首选。实战中，rank 从 4 到 64 调参：rank 越小越抗过拟合，但可能欠拟合；rank=16 是常见起点。
- 实际落地的坑：LoRA 的 alpha 参数（缩放因子）常被忽略。若 alpha 设置过大（如 rank=8, alpha=32），训练初期 loss 震荡剧烈，容易过拟合。解法：alpha 设为 rank 的 2 倍（如 rank=8, alpha=16），并配合 warmup 学习率。
正则化技术：传统但有效
- 权重衰减（Weight Decay）：对非 LoRA 参数（如 embedding、layernorm）通常不施加，因为会破坏预训练分布。只对 LoRA 的 A/B 矩阵施加，典型值 0.01-0.1。
- Dropout：在 LoRA 的 A 矩阵后加 dropout（0.1-0.3），但注意：dropout 在推理时必须关闭。实战中，dropout 对过拟合的抑制不如数据清洗直接，更多是锦上添花。
- 标签平滑（Label Smoothing）：对分类任务，将 one-hot 标签替换为 [0.9, 0.05, 0.05]，防止模型对训练标签过度自信。在生成任务中，等价于在 loss 中加 KL 散度惩罚。
训练策略：动态监控
- 早停（Early Stopping）：监控验证集 loss，patience=3-5 个 epoch。注意：验证集必须与训练集同分布但无重叠，且大小至少 20 条。
- 学习率调度：使用余弦退火（Cosine Annealing）或线性衰减，配合 warmup（前 10% 步数线性上升）。全量微调时，学习率通常 1e-5 到 5e-5；LoRA 微调可放宽到 1e-4 到 3e-4。
- 梯度裁剪（Gradient Clipping）：max_norm=1.0，防止梯度爆炸导致 loss 突变。这在 LoRA 微调中尤其重要，因为低秩矩阵的梯度可能异常大。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据、参数效率、正则化、训练策略四个层面回答。数据层面，优先清洗和增强，控制样本量在 100-500 条；参数效率层面，用 LoRA 将可训练参数压缩到 0.1%，这是抗过拟合的核心；正则化层面，对 LoRA 矩阵施加权重衰减和 dropout；训练策略层面，早停和余弦退火学习率。总结一句：微调过拟合的解法不是堆正则化，而是用参数高效方法从源头限制模型容量。”
4️⃣ 高频追问 & 应对
追问 1：LoRA 的 rank 怎么选？为什么 rank 小能抗过拟合？
从信息瓶颈角度解释：rank 决定了低秩矩阵的秩，即模型能学习的“独立特征数”。rank=1 时，模型只能学到一个方向的特征，几乎不可能过拟合；rank=64 时，自由度大增，过拟合风险上升。实战中，rank 从 4 开始，每轮翻倍，观察验证集 loss 拐点。例如，在 LLaMA-7B 上，rank=16 时验证集 loss 最低，rank=32 时开始上升。注意：rank 与模型规模正相关，70B 模型可能需要 rank=32 起步。
追问 2：如果数据只有 10 条，你怎么微调？
10 条数据是极端小样本，全量微调必过拟合。解法：1）用 LoRA rank=4，学习率 1e-4，训练 5-10 个 epoch 后早停；2）数据增强：对每条样本做 3 种回译（中-英-中），生成 30 条；3）加入 10 条通用负样本（如“我不知道”），防止模型记忆格式；4）使用 Few-shot 提示工程（in-context learning）替代微调，因为 10 条数据不足以支撑参数更新。如果必须微调，考虑用 Adapter 而非 LoRA，因为 Adapter 的 bottleneck 维度更小。
追问 3：全量微调 70B 模型，怎么防止灾难性遗忘？
灾难性遗忘是过拟合的极端形式。解法：1）使用 LoRA 或 QLoRA（4-bit 量化），只更新 0.01% 参数；2）在 loss 中加入 KL 散度项，约束模型输出与预训练版本的距离（如 LLaMA 的 RLHF 做法）；3）使用 replay buffer：在训练 batch 中混入 20% 的预训练数据（如 C4 子集），保持通用能力；4）学习率设为 1e-5 以下，训练 1-2 个 epoch 后立即停止。工业界常用 LoRA + 学习率 2e-5 + 1 epoch 的组合。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“增加 dropout 到 0.5 就能解决过拟合” → ✅ 正确切入：dropout 在微调中效果有限，因为预训练模型已经很强，dropout 反而可能破坏学到的特征。核心是限制可训练参数数量，而非增加随机性。
- ❌ 说“用更多数据就能防过拟合” → ✅ 正确切入：数据质量比数量重要。100 条高质量、覆盖边缘分布的样本，远好于 1000 条重复或带噪数据。先做数据清洗（去重、过滤、平衡），再考虑增强。
- ❌ 说“早停是万能的” → ✅ 正确切入：早停只能防止训练过度，不能解决模型容量过大导致的过拟合。必须配合 LoRA 等参数高效方法，从源头限制模型自由度。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“数据质量”切入，强调在 RAG 场景中，检索到的文档噪声大，微调时容易过拟合到噪声模式。用 LoRA 微调 + 数据清洗（如用 BM25 过滤低相关文档）作为抗过拟合组合拳。
- 如果你只做过传统 NLP：用“正则化类比”迁移，将传统 NLP 中的 L2 正则化、dropout 与 LoRA 的低秩约束类比，强调“参数效率”是微调时代的核心正则化手段。
- 如果你是校招无项目：聚焦“LoRA 原理复现”，在面试中详细解释低秩矩阵的秩与过拟合的关系，并提及在 GLUE 上对比全量微调与 LoRA 微调的过拟合曲线（训练 loss 低但验证 loss 高 vs 两者同步下降）。
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
- QLoRA: Efficient Finetuning of Quantized Language Models (Dettmers et al., 2023)
- The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., 2021)
- Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (Gururangan et al., 2020)
- 博客：Hugging Face PEFT 库文档 - LoRA 与 Adapter 的实战调参指南