什么是 SFT（Supervised Fine-Tuning）

P0 · llm_training

📊 考点：sft · fine-tuning · lora

1️⃣ 考察意图

面试官想确认你是否真正理解SFT在LLM训练流水线中的定位，而非仅背诵“用标注数据微调”的定义。这是典型的概念+工程取舍题，刁钻点在于：很多人把SFT等同于“指令微调”，或忽略其与RLHF、预训练的衔接关系。答好了能展示你对LLM全流程（预训练→SFT→对齐）的体系化认知，以及参数高效微调（PEFT）的实战经验。

2️⃣ 标准答

SFT（Supervised Fine-Tuning）是LLM训练流程中承上启下的关键步骤：在预训练模型基础上，用高质量标注数据（输入-输出对）进行监督学习，将通用语言能力转化为特定任务能力。

核心定位：

与预训练的区别：预训练是自监督（next token prediction），数据量大（万亿tokens）、成本高；SFT是监督学习，数据量小（万到百万级）、质量要求极高。预训练学“语法和世界知识”，SFT学“指令遵循和输出格式”。
与RLHF的衔接：SFT是RLHF的前置条件。没有SFT，RLHF的reward model无法有效评分——因为模型连基本指令格式都未掌握。SFT提供“基础行为”，RLHF做“偏好对齐”。

典型应用场景：

指令微调（Instruction Tuning）：用（指令，回答）对训练，让模型学会遵循用户意图。典型数据集：Alpaca（52k GPT-4生成数据）、ShareGPT（真实对话）。关键取舍：数据多样性比数量更重要——用1k高质量多样指令可能优于10k同质数据。
任务特定微调：如代码生成（用CodeAlpaca）、医疗问答（用MedQA）。此时需注意灾难性遗忘：模型可能丢失预训练学到的通用知识。解法：混合通用数据（如10%预训练语料）进行联合训练。

实战坑与解法：

坑1：过拟合。SFT数据量小（通常<100k），模型容易记住而非泛化。解法：早停（监控验证集loss）、使用LoRA等参数高效方法（限制可训练参数<1%）。
坑2：数据质量失控。低质量标注（如错误答案、格式不一致）会直接污染模型。解法：人工抽检+自动过滤（用GPT-4打分，剔除<3分的样本）。
坑3：多轮对话退化。单轮SFT后，模型在多轮对话中可能重复或遗忘上下文。解法：在SFT数据中混入多轮对话样本（如ShareGPT），并添加特殊token（如<|im_start|>）标记轮次。

参数高效微调（PEFT）选择：

LoRA：最主流。在attention层插入低秩矩阵，可训练参数仅0.1%-1%。优点：显存友好（7B模型用LoRA只需16GB），支持热切换（多个LoRA模块可动态组合）。缺点：表达能力受限，复杂任务不如全参数微调。
Adapter：在Transformer层后加小网络。优点：更灵活（可调整维度），缺点：推理增加延迟（需串行计算）。
全参数微调：适合资源充足（如8×A100）且任务极复杂（如代码生成）的场景。注意：需用ZeRO-3或FSDP分片，且学习率要调低（通常1e-5 vs LoRA的2e-4）。

关键超参数：

学习率：全参数1e-5~~5e-5，LoRA 1e-4~~5e-4
批次大小：尽量大（如128），但受显存限制，可用梯度累积
训练轮数：通常2-5轮，超过可能过拟合

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，SFT是LLM训练流程中承上启下的监督学习步骤，用高质量标注数据将预训练模型从‘语言模型’转化为‘指令遵循模型’；第二，它与预训练和RLHF有明确分工——预训练学知识，SFT学格式，RLHF学偏好；第三，实战中要关注过拟合、数据质量和灾难性遗忘，通常用LoRA做参数高效微调，并混合通用数据防止遗忘。总结一句：SFT是LLM从‘能说话’到‘会听话’的关键桥梁。”

4️⃣ 高频追问 & 应对

追问 1：SFT数据量一般多大？为什么不能像预训练那样用海量数据？

核心原因：边际收益递减。实验表明，当SFT数据超过10万条后，模型性能提升趋于平缓（参考LIMA论文：1k高质量数据效果可媲美50k低质量数据）。因为SFT本质是“格式学习”而非“知识注入”——模型预训练时已掌握知识，SFT只需教会它如何组织输出。数据量过大反而增加过拟合风险，且标注成本线性增长。实战中，建议先收集5k-10k高质量样本，通过验证集效果决定是否扩充。

追问 2：如果SFT后模型在某个任务上表现变差，怎么排查？

三步排查法：1）检查数据质量——该任务样本是否太少（<100条）或标注错误？用GPT-4打分过滤低分样本。2）检查灾难性遗忘——在SFT数据中混入10%-20%的通用预训练语料（如C4子集）做联合训练。3）检查过拟合——对比训练集和验证集loss，若训练loss持续下降而验证loss上升，则降低学习率或提前停止。若以上都无效，考虑任务本身需要更多知识注入（此时应做继续预训练而非SFT）。

追问 3：LoRA的秩（rank）怎么选？为什么？

典型范围：8-64。低秩（如8）适合简单任务（如情感分类），高秩（如64）适合复杂任务（如代码生成）。取舍点：低秩参数量少、训练快，但表达能力受限；高秩更灵活但显存和训练时间增加。实战经验：从rank=16开始，观察验证集loss；若欠拟合则加倍，若过拟合则减半。注意：rank超过64后收益递减，因为attention层的本征维度通常不超过64（参考LoRA论文实验）。

5️⃣ 避坑 · 常见错误答法

❌ 说“SFT就是指令微调，用Alpaca数据训练就行” → ✅ 正确切入：指令微调是SFT的典型应用，但SFT还包括任务特定微调（如代码生成）、领域适应（如医疗）。且数据质量比数量更重要，需强调多样性。
❌ 说“SFT和预训练一样，只是数据量小” → ✅ 正确切入：两者目标不同——预训练学语言分布（自监督），SFT学任务映射（监督）。SFT的学习率通常比预训练高1-2个数量级（因为从预训练权重开始，需快速适应新任务）。
❌ 说“全参数微调一定比LoRA好” → ✅ 正确切入：全参数微调在复杂任务上可能更好，但代价是显存和训练成本高（7B模型全参数需~~56GB，LoRA仅~~16GB）。且全参数微调更容易过拟合和灾难性遗忘，需要更精细的调参。

6️⃣ 简历呼应

如果你有RAG项目：从“SFT优化检索质量”切入——用SFT微调embedding模型（如BGE）或reranker，提升检索相关性；或微调生成模型使其更依赖检索结果（减少幻觉）。
如果你只做过传统NLP：用“分类任务微调”类比——SFT就像用标注数据微调BERT做情感分类，只是LLM的SFT数据更复杂（指令+回答），且需关注多轮对话和格式一致性。
如果你是校招无项目：聚焦“LoRA论文复现”——在Alpaca数据集上用LoRA微调Llama-2-7B，对比全参数微调的显存和效果，展示对PEFT原理的理解。可提及在MT-Bench上的得分提升。

7️⃣ 延伸阅读

LIMA: Less Is More for Alignment（证明1k高质量SFT数据即可媲美50k）
LoRA: Low-Rank Adaptation of Large Language Models（参数高效微调原理）
Scaling Laws for Supervised Fine-Tuning（SFT数据量与性能关系）
Alpaca: A Strong Open-Source Instruction-Following Model（SFT数据生成实践）
The Power of Scale for Parameter-Efficient Fine-Tuning（Adapter与LoRA对比）

—— 本场面试完 ——