微调方法是啥？如何微调

1️⃣ 考察意图

面试官想看你是否真正理解微调的本质，而非只会调包。考察类型是“工程取舍+系统设计”，刁钻点在于：你是否能区分全参数微调与参数高效微调（PEFT）的适用场景，并给出数据配比、学习率调度等实操细节。答好了能展示你对LLM训练流程的掌控力，包括显存优化、过拟合规避和评估迭代的硬功夫。

2️⃣ 标准答

微调（Fine-tuning）是在预训练模型基础上，用特定任务数据更新参数，使其适配下游任务。核心是平衡“保留预训练知识”与“学习新任务”。以下从方法选择、数据准备、训练配置、评估迭代四步展开。

1. 方法选择：全参数 vs. 参数高效微调

全参数微调：更新所有参数，适合数据量大（>10万条）、任务与预训练差异大（如代码生成→医疗问答）。缺点：显存爆炸（LLaMA-7B需约56GB显存，batch_size=1），且易过拟合。
LoRA（Low-Rank Adaptation）：冻结原参数，插入低秩矩阵（rank=8-64），仅训练新增权重。显存降至16GB（LLaMA-7B），效果接近全参数。为什么这么做？因为预训练权重已含通用知识，低秩更新能高效捕捉任务特定模式，避免灾难性遗忘。
QLoRA：结合4-bit量化（NF4）和LoRA，显存再降50%（7B模型仅需6GB），适合单卡场景。坑：量化后训练速度慢30%，需用bitsandbytes库。
Adapter：在Transformer层插入小网络（瓶颈结构），参数更少但推理增加延迟（需额外前向）。

2. 数据准备：指令格式与质量

格式：统一为{"instruction": "...", "input": "...", "output": "..."}，避免噪声。例如情感分类任务，指令为“判断情感：正面/负面”，输入为文本。
数据增强：对分类任务，用回译（back-translation）扩充数据；对生成任务，用ChatGPT生成伪标签（需人工校验）。坑：伪标签引入偏差，需设置置信度阈值（>0.9）。
配比：任务数据与通用数据混合（如1:1），防止灾难性遗忘。实际落地：在IMDb上微调时，加入10%的通用对话数据（如ShareGPT），保持模型泛化能力。

3. 训练配置：学习率与优化器

学习率：全参数微调用1e-5到5e-5，LoRA用1e-4到3e-4（因新增参数少，需更大步长）。调度器用余弦退火（cosine decay），前10%步数线性预热（warmup）。
优化器：AdamW（权重衰减0.01），混合精度训练（FP16/BF16）加速50%，显存减半。坑：BF16在A100上稳定，但V100不支持，需回退FP16并加梯度裁剪（max_grad_norm=1.0）。
批次大小：全参数微调用4-8（受显存限制），LoRA可到16-32。梯度累积（gradient_accumulation_steps=4）模拟大batch，但增加训练时间。
正则化：Dropout（0.1-0.2）和标签平滑（label_smoothing=0.1）防过拟合。实际落地：在IMDb上，LoRA不加正则化时验证集准确率下降2%。

4. 评估与迭代

指标：分类任务用准确率/F1，生成任务用ROUGE-L/BLEU。监控验证集损失，若损失上升则早停（patience=3）。
迭代：先小规模实验（1000条数据，1 epoch）调参，再全量训练。坑：验证集分布需与测试集一致，否则过拟合验证集（如IMDb的test split是平衡的，但验证集需随机采样）。
对比实验：全参数微调 vs. LoRA，记录显存、训练时间和指标。例如，LLaMA-7B上，全参数微调显存56GB，准确率92%；LoRA（rank=8）显存16GB，准确率90.5%，训练时间减少60%。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从方法选择、数据准备、训练配置三个层面回答。方法层面，全参数微调适合大数据，LoRA/QLoRA是主流，显存省70%且效果接近；数据层面，统一指令格式，混合通用数据防遗忘；训练层面，LoRA用1e-4学习率、AdamW和混合精度。总结一句：微调的核心是平衡任务适配与知识保留，用PEFT降低门槛，用数据配比保证泛化。”

4️⃣ 高频追问 & 应对

追问 1：LoRA的rank怎么选？为什么rank=8比rank=64好？

选rank取决于任务复杂度。rank=8（参数约0.1%原模型）适合简单分类/情感分析，因为低秩矩阵已能捕获任务特征；rank=64（参数约0.8%）适合复杂生成任务（如代码翻译），但易过拟合。为什么rank=8更好？因为预训练权重已含丰富知识，高rank引入多余自由度，导致训练不稳定（损失震荡）。实际落地：在IMDb上，rank=8准确率90.5%，rank=64准确率90.2%，但训练时间多30%。建议从rank=8开始，验证集损失不降再升rank。

追问 2：微调时模型出现灾难性遗忘，怎么解决？

核心是数据配比和正则化。数据层面，混合10-20%的通用数据（如C4子集或ShareGPT），保持预训练分布。训练层面，用EWC（弹性权重巩固）或L2正则化（权重衰减0.01）约束参数变化。实际落地：在医疗问答微调中，加入15%的通用对话数据后，通用任务准确率从70%回升到85%。坑：EWC计算Fisher信息矩阵耗时，建议先用数据配比，效果不佳再加EWC。

追问 3：微调时显存不够，除了QLoRA还有什么技巧？

梯度检查点（gradient checkpointing）省显存50%，但慢20%；序列长度裁剪（max_length=512）减少激活内存；使用DeepSpeed ZeRO Stage 2/3，分片优化器状态和梯度。实际落地：LLaMA-7B用ZeRO Stage 2+梯度检查点，batch_size=4时显存从56GB降到32GB。坑：ZeRO Stage 3增加通信开销，多卡训练时需调优allreduce策略。

5️⃣ 避坑 · 常见错误答法

❌ “微调就是加载预训练模型，然后训练所有层。” → ✅ “微调需区分全参数和PEFT，全参数适合大数据但显存高，LoRA是主流，只训练低秩矩阵，省显存且防过拟合。”
❌ “数据越多越好，直接堆任务数据。” → ✅ “数据需配比，混合通用数据防灾难性遗忘；质量比数量重要，用回译增强时需设置信度阈值。”
❌ “学习率统一用1e-5。” → ✅ “LoRA需更大学习率（1e-4到3e-4），因为新增参数少；全参数微调用1e-5，需预热和余弦衰减。”

6️⃣ 简历呼应

如果你有RAG项目：从“微调检索模型（如DPR）与生成模型（如LLaMA）的差异”切入，强调数据配比和LoRA在双编码器中的应用。
如果你只做过传统NLP：用“BERT微调与LLM微调的类比”迁移，说明全参数微调在BERT上可行，但LLM需PEFT，因为参数量级不同。
如果你是校招无项目：聚焦“LoRA在LLaMA-7B上复现IMDb情感分类”的demo，展示对Hugging Face PEFT库和训练流程的掌握。
LoRA论文：Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models”, ICLR 2022
QLoRA论文：Dettmers et al., “QLoRA: Efficient Finetuning of Quantized Language Models”, NeurIPS 2023
PEFT库：Hugging Face PEFT官方文档（含LoRA/Adapter/IA3实现）
数据配比实践：Longpre et al., “The Flan Collection: Designing Data and Methods for Effective Instruction Tuning”, 2023
显存优化：DeepSpeed ZeRO论文：Rajbhandari et al., “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”, SC 2020

—— 本场面试完 ——