What is fine-tuning, and why is it needed

1️⃣ 考察意图

面试官想考察你对“迁移学习”在 LLM 时代核心实践的底层理解。这不是让你背“在预训练模型上继续训练”的定义，而是要看你能不能讲清楚：为什么预训练模型不够用？微调到底解决了什么根本矛盾？ 刁钻点在于，很多人会混淆“微调”和“提示工程”或“RAG”的适用边界。答好了，能展示你对模型能力边界、数据效率、以及工程资源取舍的硬实力——这是区分“会用 API 调参”和“懂模型训练原理”的关键。

2️⃣ 标准答

定义：从“通才”到“专才”的参数手术

Fine-tuning（微调）是在一个已经预训练好的基础模型（如 LLaMA-2-7B、GPT-3.5）上，用特定领域或任务的数据，继续执行梯度下降，更新模型的部分或全部参数。本质是迁移学习在 LLM 时代的标准实践：预训练阶段让模型学会语言规律和世界知识（通才），微调阶段让模型适配特定任务（专才）。

为什么需要？三个核心矛盾

通用 vs 专用：预训练模型在 2-5 万亿 token 上训练，能写诗、编程、翻译，但让它回答“《民法典》第 1046 条是什么？”就会胡编。因为预训练数据中法律文本占比极低，模型没有“法律问答”这个任务的概率分布。微调通过注入领域数据，重塑模型的条件概率分布。
能力 vs 控制：预训练模型输出风格不可控。你问“写个请假条”，它可能给你写个小说。微调可以强制模型遵循特定格式（JSON 输出、角色扮演）、拒绝有害请求（安全对齐，如 RLHF 中的 SFT 阶段）、或固定输出长度。
成本 vs 效果：从头训练一个法律专用模型需要 1000+ GPU 天，成本数百万。微调一个 7B 模型，用 1 万条高质量法律问答对，在 1 张 A100 上跑 2-3 小时，就能达到可用水平。这是工程上的核心取舍：用少量标注数据换取任务性能的明显提升，而不是重新造轮子。

主流方法：全参数 vs 参数高效

全参数微调（Full Fine-Tuning）：更新所有参数。效果上限最高，但显存需求巨大（7B 模型约需 112GB 显存），且容易导致灾难性遗忘——模型会忘记预训练学到的通用知识，只记得微调数据里的模式。例如，用 1000 条法律数据全参数微调后，模型可能连“1+1=2”都答错。
参数高效微调（PEFT）：只更新一小部分参数，冻结大部分。主流方案：
LoRA（Low-Rank Adaptation）：在 Transformer 的注意力权重矩阵旁插入低秩矩阵（rank=8 或 16），只训练这些矩阵。显存降至 16GB，训练速度提升 3 倍。实际落地坑：rank 值选择——rank=8 在代码生成任务上可能欠拟合，rank=64 又可能过拟合。经验法则是：任务越复杂、数据量越大，rank 可适当增大（16-32）。
Adapter：在 Transformer 层间插入小瓶颈网络。比 LoRA 更灵活，但推理时需额外计算，延迟增加 10-20%。
Prefix Tuning：在输入前添加可学习的虚拟 token。适合生成任务，但效果不稳定，对 prompt 长度敏感。

实际落地的坑 + 解法

坑 1：数据质量 > 数据量。用 10 万条爬虫抓的噪声数据微调，效果不如 5000 条人工标注的高质量数据。解法：微调前做数据清洗——去重（MinHash）、过滤低质量（用 GPT-4 打分）、平衡类别分布。
坑 2：过拟合到“背诵”。模型在微调数据上 loss 降到 0.1，但在测试集上 F1 下降 5%。解法：早停（Early Stopping）、权重衰减（Weight Decay=0.1）、增加 dropout（0.1-0.2）。更激进的做法：在微调数据中混入 10% 的预训练数据（如 C4 子集），缓解灾难性遗忘。
坑 3：评估指标误导。微调后 loss 下降，但实际生成质量变差（如重复、安全违规）。解法：除了 loss，必须监控任务指标（BLEU、ROUGE、F1、人工评分），并做对抗性测试（输入边界 case 看模型是否崩溃）。

总结：微调不是万能药。如果任务只需要检索知识（如“XX 公司财报”），RAG 更优；如果任务需要改变模型行为（如“用莎士比亚风格写代码”），微调才是正解。选择取决于：数据量、任务复杂度、资源预算。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从定义、必要性、方法三个层面回答。定义上，微调是在预训练模型上用领域数据继续训练，调整参数。必要性源于三个矛盾：通用能力 vs 专用需求、能力 vs 控制、成本 vs 效果。方法上，全参数微调效果好但贵且易遗忘，参数高效微调如 LoRA 用低秩矩阵节省资源，是工业界主流。总结一句：微调是让大模型从‘通才’变成‘专才’的最经济手段，但需要警惕灾难性遗忘和数据质量陷阱。”

4️⃣ 高频追问 & 应对

追问 1：微调、RAG、提示工程，三者的选择标准是什么？

核心看任务类型。如果任务需要知识更新（如最新新闻），RAG 最优，因为微调无法注入实时知识，且成本高。如果任务需要行为改变（如输出格式、角色风格），微调更直接，提示工程可能不稳定。如果任务简单（如摘要、翻译），提示工程成本最低。一个经验法则：数据量 < 1000 条，优先提示工程；1000-10000 条，考虑 LoRA 微调；> 10000 条且任务复杂，全参数微调或 RAG+微调混合。

追问 2：LoRA 的 rank 值怎么选？为什么 rank=1 不行？

rank 控制低秩矩阵的表达能力。rank=1 相当于只学一个秩 1 矩阵，表达能力太弱，在复杂任务（如代码生成、数学推理）上欠拟合。经验值：简单分类任务 rank=4-8，复杂生成任务 rank=16-32。实际调优时，先设 rank=8，观察验证集 loss 是否下降；如果 loss 不降或过拟合，再调整。另一个技巧：用 LoRA 的 alpha 参数（缩放因子）控制更新幅度，通常 alpha=16，rank=8 是安全起点。

追问 3：微调后模型出现“灾难性遗忘”，怎么解决？

三种策略。第一，数据混合：在微调数据中混入 10-20% 的预训练数据（如 C4 子集），让模型同时学习新任务和保持通用能力。第二，弹性权重巩固（EWC）：在损失函数中加入正则项，惩罚对预训练重要参数的改变，但计算成本高。第三，多任务微调：同时微调多个任务（如法律问答+通用对话），让模型共享表示，减少遗忘。工业界最常用的是第一种，简单有效。

5️⃣ 避坑 · 常见错误答法

❌ “微调就是继续训练模型，数据越多越好。” → ✅ “微调是迁移学习，数据质量远重要于数量。10 万条噪声数据不如 5000 条高质量数据，且数据过多会导致过拟合和灾难性遗忘。”
❌ “微调可以解决所有问题，比 RAG 和提示工程都好。” → ✅ “微调有适用边界：知识更新用 RAG，简单任务用提示工程，行为改变用微调。三者是互补关系，不是替代关系。”
❌ “全参数微调效果一定比 LoRA 好。” → ✅ “全参数微调效果上限高，但容易灾难性遗忘，且资源消耗大。LoRA 在数据量 < 1 万条时，效果接近全参数微调，但显存节省 80%，训练快 3 倍。实际工程中，LoRA 是更稳健的选择。”

6️⃣ 简历呼应

如果你有 RAG 项目：从“微调 vs RAG 的适用边界”切入，举例说明在某个项目中，你发现 RAG 检索质量差（Top-5 召回率 < 60%），改用 LoRA 微调后，F1 提升 15%。强调你做了 A/B 测试，量化了两种方案的 latency 和 cost。
如果你只做过传统 NLP：用“BERT 微调”类比迁移。说你在文本分类任务中，用预训练 BERT 做全参数微调，对比了不同学习率（2e-5 vs 5e-5）和 batch size 的影响，并发现了过拟合问题，通过早停和 dropout 解决。强调你对“迁移学习”的通用理解。
如果你是校招无项目：聚焦论文复现。说你复现了 LoRA 论文（Hu et al., 2021），在 LLaMA-7B 上用 Alpaca 数据集微调，对比了 rank=8 和 rank=64 的效果，发现 rank=8 在指令跟随任务上已足够，且显存从 112GB 降到 16GB。强调你对技术细节的理解和动手能力。
LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)
Scaling Down: Pruning and Fine-Tuning Large Language Models (Xia et al., 2024)
博客：Hugging Face PEFT 库官方教程（LoRA/Adapter/IA3 实现）
论文：Fine-Tuning Language Models with Just Forward Passes (Malladi et al., 2023)

—— 本场面试完 ——