How do you prevent overfitting during fine-tuning
1️⃣ 考察意图
面试官想看的不是“背出过拟合定义”，而是你在资源受限（小数据集、高参数量）的微调场景下，如何系统性地平衡模型容量与泛化能力。考察类型是工程取舍 + debug。刁钻点在于：候选人常只提“早停”或“Dropout”，但无法解释为什么 LoRA 比全参数微调更抗过拟合，或权重衰减的 λ 如何根据数据量动态调整。答好了能展示：对正则化理论的理解、参数高效微调（PEFT）的实战经验、以及从训练曲线诊断过拟合的 debug 能力。
2️⃣ 标准答
微调过拟合的核心矛盾是：预训练模型参数量（如 LLaMA-7B 的 70 亿） >> 下游任务数据量（通常几千条）。解决方案从数据、模型结构、训练策略三个层面展开。
- 数据层面：对抗样本与增强
- 方法：对文本做 EDA（Easy Data Augmentation），包括同义词替换（WordNet）、随机插入/删除、回译（back-translation）。对分类任务，用 Mixup 在 embedding 空间线性插值（
λ * x_i + (1-λ) * x_j，λ ~ Beta(0.2, 0.2)）。 - 坑：回译可能改变语义（如“not good”回译成“bad”），需人工校验 10% 样本。取舍：数据增强增加计算开销，但能有效降低验证 loss 的方差，尤其当数据量 < 1000 条时。
- 模型结构层面：参数高效微调（PEFT）
- LoRA（Low-Rank Adaptation）：冻结预训练权重，只训练低秩矩阵（
r=8或r=16）。参数量减少 99.9%，天然抗过拟合——因为可训练参数远少于数据量。为什么有效：全参数微调会破坏预训练学到的通用特征（catastrophic forgetting），LoRA 通过低秩约束迫使模型只学习任务特定的“残差”。 - Dropout：在分类头（classification head）上加
dropout=0.3，但注意预训练模型本身的 hidden dropout 通常已设为 0.1，不要重复叠加。坑：Dropout 在推理时需关闭，且对 Transformer 的 attention 层效果有限（因为 attention 本身有 softmax 归一化）。 - 训练策略层面：正则化与动态调度
- 权重衰减（Weight Decay）：AdamW 的
weight_decay=0.01是默认值，但小数据集（<500 条）应调高到0.05-0.1。为什么：权重衰减等价于 L2 正则化，对大参数施加更大惩罚，迫使模型不依赖少数“强特征”。 - 早停（Early Stopping）：监控验证集 loss，patience=3 个 epoch，restore_best_weights=True。坑：验证集必须与训练集分布一致（如时间序列任务需按时间切分，不能随机 shuffle）。
- 学习率调度：先用 warmup（前 10% steps 线性从 0 升到
lr=2e-5），再用余弦衰减（cosine decay）降到 0。取舍：余弦衰减比 step decay 更平滑，适合微调场景，但需要更多 epoch（10-20）才能收敛。 - 实际落地的坑 + 解法
- 坑：在小数据集（如 500 条）上微调 BERT，训练 loss 降到 0.01，验证 loss 却从 0.3 反弹到 0.8。诊断：过拟合的典型信号——训练 loss 持续下降但验证 loss 上升。解法：① 立即启用早停（patience=2）；② 将 LoRA rank 从 16 降到 4；③ 在 embedding 层加 dropout=0.2（因为小数据集下 embedding 层最容易过拟合）。
- 坑：权重衰减导致模型欠拟合（训练 loss 降不下去）。解法：检查是否对 bias 和 LayerNorm 参数也施加了权重衰减（应排除，因为 bias 和 norm 参数不需要正则化）。Hugging Face 的
AdamW默认correct_bias=True，但需手动设置no_decay参数列表。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据、模型结构、训练策略三个层面回答。数据层面，用回译和 Mixup 做增强，但注意语义一致性；模型结构层面，优先用 LoRA 减少可训练参数，配合分类头的 Dropout；训练策略层面，用 AdamW 的权重衰减（小数据集调高到 0.05）、早停（patience=3）和余弦衰减学习率。总结一句：微调过拟合的根因是参数量远大于数据量，核心解法是参数高效微调 + 动态正则化。”
4️⃣ 高频追问 & 应对
追问 1：如果数据量只有 100 条，你怎么选择 LoRA 的 rank 和学习率？
应对策略：rank 从 1 开始试（因为数据量极小，rank=1 的参数量约 2k，足够拟合 100 条数据）。学习率从 1e-4 开始（比标准 2e-5 高，因为低秩矩阵需要更大步长才能学到有效特征）。监控验证 loss，如果训练 loss 下降但验证 loss 震荡，立即降 rank 到 1 并加 dropout=0.5。取舍：rank 越低，欠拟合风险越大，但 100 条数据下欠拟合比过拟合更可控（因为可以加更多 epoch）。
追问 2：权重衰减和 Dropout 同时用，会不会互相抵消？
应对策略：不会抵消，但需注意叠加效应。权重衰减作用于参数更新（全局），Dropout 作用于激活值（局部）。如果同时用高权重衰减（0.1）和高 Dropout（0.5），模型可能欠拟合。经验值：小数据集（<1000 条）用 weight_decay=0.05 + dropout=0.3；大数据集（>10000 条）用 weight_decay=0.01 + dropout=0.1。如果验证 loss 不降，优先降低 Dropout 而不是权重衰减。
追问 3：你提到用早停，但验证集 loss 可能因为学习率过大而震荡，怎么区分是过拟合还是学习率问题？
应对策略：看训练 loss 曲线。如果训练 loss 也震荡，是学习率问题（需降低 lr 或增加 warmup steps）；如果训练 loss 平滑下降但验证 loss 先降后升，是过拟合。具体操作：在验证 loss 第一次上升时，先降低 lr 到 1/10 继续训练 2 个 epoch，如果验证 loss 继续上升，再启用早停。这样可以避免因学习率调度不当而误判过拟合。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“用 Dropout 和早停”，不提具体参数（如 dropout=0.3, patience=3） → ✅ 给出具体数值和调整逻辑（如“小数据集 dropout 从 0.3 起调，早停 patience=3”）
- ❌ 说“全参数微调加权重衰减就能防过拟合” → ✅ 指出全参数微调在小数据集上几乎必然过拟合，必须用 LoRA 或 Adapter 等 PEFT 方法
- ❌ 混淆“欠拟合”和“过拟合”的应对策略（如过拟合时增加模型容量） → ✅ 明确过拟合的解法是减少模型容量或增加正则化，欠拟合才需要增加容量
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“微调 embedding 模型时，用 LoRA 防止过拟合，对比全参数微调后检索 recall 下降 15%”切入，强调 PEFT 对泛化性的提升。
- 如果你只做过传统 NLP：用“图像分类中数据增强（翻转/裁剪）类比文本回译，权重衰减类比 L2 正则化”迁移，展示跨领域理解。
- 如果你是校招无项目：聚焦“在 GLUE 子集（如 RTE，2500 条）上复现 LoRA 微调 BERT，对比早停/权重衰减的效果，训练 loss 和验证 loss 差距从 0.5 缩小到 0.1”作为 demo。
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
- AdamW: Decoupled Weight Decay Regularization (Loshchilov & Hutter, 2019)
- EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks (Wei & Zou, 2019)
- Mixup: Beyond Empirical Risk Minimization (Zhang et al., 2018)
- Hugging Face PEFT 文档：LoRA / Prefix Tuning / Prompt Tuning 实现细节