2 为什么不是所有问题都值得微调
P1 · rag
🏷 标签：fine-tuning, prompt-engineering, rag, cost-analysis
1️⃣ 考察意图
面试官想考察你是否具备成本意识和技术选型决策能力，而非只会堆砌技术。这是一个典型的工程取舍问题，刁钻点在于：很多人一遇到问题就喊“微调”，却忽略了微调的高昂成本、维护负担和潜在风险。答好了能展示你不仅懂微调原理，更懂何时不微调，能根据业务场景在 Prompt Engineering、RAG 和微调之间做出最优选择，体现资深工程师的系统思维。
2️⃣ 标准答
核心原则：能用 Prompt 或 RAG 解决的问题，绝不微调。 微调是最后手段，不是万能药。
1. 成本维度：微调是“重资产”操作
- 数据成本：高质量标注数据极其昂贵。例如，为客服意图分类微调，需要几千条人工标注的“用户问题-意图”对，每条成本 1-5 元，总成本轻松上万。而写一个 Prompt 模板，零成本。
- 计算成本：全参数微调 7B 模型需要 4-8 张 A100 跑数小时，LoRA 虽降低到 1-2 张，但单次训练仍需数百元电费。而 RAG 只需一个向量数据库和 Embedding 模型，推理时几乎无额外计算开销。
- 维护成本：模型版本迭代（如 GPT-4 → GPT-4o）后，微调模型需重新训练。Prompt 和 RAG 只需调整少量配置，几分钟内完成。
2. 适用场景边界：微调只解决“固定模式”问题
- 适合微调：任务输出格式高度固定（如 JSON 输出、特定风格文案）、需要注入大量私有领域知识（如医疗诊断规则）、或需要模仿特定说话风格（如客服话术）。例如，用 LoRA 微调 Llama 3 做法律合同条款提取，输出格式统一，效果显著。
- 不适合微调：任务需要频繁更新知识（如实时新闻摘要）、输出格式多变（如开放式问答）、或依赖外部实时数据（如查询天气）。此时 RAG 是唯一选择。
3. 替代方案对比：Prompt Engineering + RAG 的灵活性
- Prompt Engineering：通过精心设计的指令、Few-shot 示例、Chain-of-Thought 等技巧，可解决 80% 的简单任务。例如，用“请从以下文本中提取日期、地点、事件，以 JSON 格式输出”的 Prompt，配合 2-3 个示例，效果不输微调。
- RAG：适合知识密集型任务。将文档分块（Chunking，如 512 tokens，重叠 128 tokens），用 Embedding 模型（如 text-embedding-3-small）向量化，存入 HNSW 索引，检索 Top-K 后拼接 Prompt。优势在于知识可实时更新，无需重训模型。
- 实际落地的坑 + 解法：RAG 的检索质量是瓶颈。坑：检索到的文档不相关，导致“幻觉”。解法：引入 Reranker（如 Cohere Rerank 3），对检索结果二次排序，只保留 Top-3 最相关片段；或使用 HyDE（假设文档嵌入）技术，先让模型生成一个假设答案，再用该答案检索，提升召回率。
4. 风险：灾难性遗忘与通用能力下降
- 微调会改变模型权重，可能导致模型在通用任务（如常识问答、数学推理）上性能下降。例如，微调一个模型专门做代码生成，它可能忘记如何写诗。LoRA 通过低秩适配部分缓解此问题，但仍有风险。
- 决策原则：先评估任务是否“可 Prompt 化”。如果 5 轮 Prompt 调优后效果仍不达标，且任务输出高度固定、数据量充足（>1000 条），才考虑微调。否则，优先用 RAG 或 Prompt。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从成本、适用场景、替代方案和风险四个层面回答。成本上，微调需要高质量数据和昂贵算力，维护成本高；适用场景上，它只适合输出格式固定、知识稳定的任务，不适合频繁变化的需求；替代方案上，Prompt Engineering 和 RAG 更灵活，可快速迭代；风险上，微调可能导致灾难性遗忘。总结一句：能用 Prompt 或 RAG 解决的问题，绝不微调，微调是最后手段。”
4️⃣ 高频追问 & 应对
追问 1：你说 RAG 比微调好，那如果 RAG 检索到的文档质量很差，怎么办？
这是 RAG 的核心问题。应对策略分三层：第一层，优化检索，使用 HyDE 技术，先让模型生成假设答案，再用该答案检索，提升语义匹配度；第二层，引入 Reranker，对检索结果二次排序，过滤低质量片段；第三层，如果检索依然差，考虑 Self-RAG，让模型在生成时自行判断是否需要检索，或使用 CRAG（纠正性 RAG），当检索结果不可靠时，模型主动拒绝回答或要求用户补充信息。如果这些仍不奏效，才考虑用微调注入领域知识。
追问 2：微调 LoRA 和全参数微调，你如何选择？
选择取决于数据量和任务复杂度。LoRA 适合数据量 1000-5000 条、任务相对简单的场景，训练快（1-2 小时），显存占用低（7B 模型只需 16GB），且不易灾难性遗忘。全参数微调适合数据量 >10000 条、任务需要深度理解（如医疗诊断），但成本高（需 4-8 张 A100），且风险大。我的经验是：优先尝试 LoRA，如果效果不达标，再考虑全参数微调。另外，QLoRA（4-bit 量化 LoRA）可进一步降低显存，适合资源受限场景。
追问 3：如果业务要求模型输出必须 100% 准确，比如金融合同条款提取，你选微调还是 RAG？
这种情况，微调 + RAG 结合是最优解。先用 RAG 检索相关合同条款，再用微调后的模型做精确提取。微调负责“格式化和规则理解”，RAG 负责“知识供给”。例如，用 LoRA 微调一个模型，专门将检索到的条款转换为标准 JSON 格式，同时保留 RAG 的实时更新能力。这样既保证了准确性，又避免了微调带来的知识过时问题。
5️⃣ 避坑 · 常见错误答法
- ❌ “微调能解决所有问题，只要数据够多就行。” → ✅ “微调只适合固定格式、知识稳定的任务，频繁变化的需求应优先用 RAG 或 Prompt。”
- ❌ “RAG 比微调便宜，所以永远选 RAG。” → ✅ “RAG 在知识密集型任务中成本低，但检索质量是瓶颈；微调在输出格式固定、数据量充足时效果更好。需根据任务特性权衡。”
- ❌ “微调会导致灾难性遗忘，所以不能用。” → ✅ “灾难性遗忘可通过 LoRA、冻结底层权重、或混合训练（保留通用数据）缓解。微调不是不能用，而是要有选择地用。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“RAG 与微调的对比实验”切入，展示你如何用 ROUGE 分数和推理成本数据，说服团队放弃微调，改用 RAG + Reranker 方案，最终降低 80% 训练成本。
- 如果你只做过传统 NLP：用“传统分类模型 vs. 微调”类比，说明传统模型需要大量标注数据，而微调虽能利用预训练知识，但成本更高。强调你理解“数据-成本-效果”三角权衡。
- 如果你是校招无项目：聚焦“微调 vs. Prompt”的论文复现，如用 Llama 3 做情感分类，对比 Few-shot Prompt 和 LoRA 微调的效果，展示你理解微调的适用边界。
- 《LoRA: Low-Rank Adaptation of Large Language Models》
- 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》
- 《HyDE: Precise Zero-Shot Dense Retrieval without Relevance Labels》
- 《Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection》
- 《QLoRA: Efficient Finetuning of Quantized Language Models》