| Q96 | When might prompt engineering be preferred over task-specific fine-tuning
1️⃣ 考察意图
面试官想考察你对大模型应用落地中“成本-性能-灵活性”三角权衡的实战理解，而非单纯背诵概念。刁钻点在于：多数人只会说“数据少用提示工程”，但真正区分资深与初级的是能否量化决策边界（如多少样本、多复杂任务才值得微调）。答好了能展示你从原型验证到生产部署的整条链路决策能力，以及避免“锤子倾向”（所有问题都用微调或都用提示工程）的工程成熟度。
2️⃣ 标准答
核心原则：提示工程优先于微调，当且仅当它能以可接受的性能满足业务需求，且微调带来的成本/风险超过收益。具体场景分三类：
场景一：数据稀缺或快速迭代
- 零样本/少样本即可：任务如情感分类（正面/负面）、意图识别（查询/下单），用 GPT-4 或 Claude 3 的 zero-shot prompt（如“判断以下评论情感：{text}”）准确率可达 90%+。微调需要至少 500-1000 条高质量标注数据，收集和清洗成本远高于写 5 条 few-shot 示例。
- 原型验证阶段：产品需求未冻结时，用 prompt 切换任务（如从“摘要”改“翻译”）只需改指令，微调则需重新训练和部署模型。实际坑：某电商团队用微调做商品分类，需求变更后模型需重训 2 天，改用 prompt 后 10 分钟完成迭代。
场景二：任务简单或模型能力足够
- 任务复杂度低：如正则表达式能解决的实体抽取（提取邮箱、日期），提示工程（“提取文本中的邮箱地址”）足够，微调反而引入过拟合风险。工程取舍：微调会改变模型权重，可能遗忘原有能力（如数学推理），而 prompt 是“无副作用”的。
- 模型原生能力覆盖：GPT-4 在逻辑推理、代码生成等任务上已很强，微调提升有限（通常 <5%）。用 prompt 加 chain-of-thought（“Let's think step by step”）即可达到 SOTA 水平。
场景三：成本敏感或需要灵活切换
- 推理成本 vs 训练成本：微调后模型推理成本不变（相同参数量），但训练成本高（如 LLaMA-7B 微调需 4 张 A100 跑 2 小时，约 $100）。提示工程零训练成本，但长上下文消耗 token（如 10 条 few-shot 示例约 2000 tokens，每次推理多花 $0.02）。决策边界：若日请求量 < 10 万，提示工程总成本更低；超过则微调摊薄训练成本更划算。
- 多任务切换：一个模型需处理 10 种不同任务（如客服、翻译、摘要），用 prompt 动态切换（“你现在是客服，回答：{query}”），微调则需 10 个独立模型或 LoRA adapter，维护成本爆炸。
实际落地坑 + 解法
- 坑：提示工程在复杂任务（如多步推理、结构化输出）上效果不稳定。例如用 prompt 让模型输出 JSON，格式错误率 20%。解法：先用 prompt 验证可行性，若准确率 < 85%，再考虑微调。混合策略：用 prompt 做快速原型，微调做生产优化（如用 LoRA 微调 1000 条数据，训练成本仅 $20）。
- 坑：长上下文 prompt 导致推理延迟高（如 10 条 few-shot 示例使首 token 延迟增加 50ms）。解法：将 few-shot 示例压缩为系统 prompt 或使用缓存（如 Redis 缓存常见 prompt 模板）。
总结：提示工程是“低成本试错”工具，微调是“高成本固化”工具。优先用提示工程，直到它成为瓶颈（性能不达标或成本失控），再切换微调。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据、任务、成本三个层面回答。数据层面：当标注样本少于 500 条时，提示工程零样本/少样本更高效；任务层面：当任务简单（如情感分类）或模型原生能力足够时，提示工程避免过拟合和遗忘；成本层面：当需要快速迭代或多任务切换时，提示工程训练成本为零、切换灵活。总结一句：提示工程是‘先试再投’的决策工具，微调是‘确认有效后固化’的优化手段。”
4️⃣ 高频追问 & 应对
追问 1：你说提示工程在数据少时更好，具体多少条数据是分界线？
没有绝对数字，但【通用知识】经验阈值是 500-1000 条。低于 500 条，微调容易过拟合（验证集准确率比提示工程低 5-10%）；高于 2000 条，微调开始有显著优势（提升 10-15%）。具体取决于任务复杂度：简单分类任务 200 条即可微调，复杂推理任务可能需要 5000 条。建议用“学习曲线”方法：先取 100 条做提示工程，再取 500 条微调，对比性能增量。
追问 2：如果提示工程和微调性能差不多，你怎么选？
选提示工程，因为无副作用。微调会改变模型权重，可能遗忘原有能力（如 GPT-4 微调后数学推理下降 3-5%）。但若推理成本是瓶颈（如日请求百万级），微调后可用更小模型（如从 GPT-4 换到微调后的 LLaMA-7B），推理成本降低 10 倍。此时需做 A/B 测试：提示工程用 GPT-4，微调用 LLaMA-7B，对比准确率和总成本。
追问 3：你提到混合策略，具体怎么操作？
分三步：① 用提示工程做快速原型，收集 1000 条用户真实反馈数据；② 分析失败案例（如格式错误、逻辑漏洞），用这些数据微调 LoRA adapter（rank=8，训练 3 个 epoch）；③ 部署时用 prompt 做“路由”，简单请求走提示工程，复杂请求走微调模型。例如客服场景：80% 简单查询用 prompt，20% 复杂投诉用微调模型，总成本降低 40%。
5️⃣ 避坑 · 常见错误答法
- ❌ “提示工程永远比微调好，因为不用训练。” → ✅ “提示工程在简单任务上更优，但复杂任务（如多步推理、结构化输出）效果有限，需用微调提升性能。”
- ❌ “微调成本高，所以永远不用。” → ✅ “微调训练成本高，但推理成本不变；当请求量大时，微调摊薄训练成本更划算。需做成本模型计算：训练成本 / 请求量 + 推理成本 vs 提示工程推理成本。”
- ❌ “提示工程和微调是互斥的。” → ✅ “它们是互补的。先用提示工程验证可行性，再用微调优化瓶颈。实际生产中常混合使用：prompt 做路由，微调模型处理高难度请求。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索增强 vs 微调”角度切入，对比提示工程（用检索结果做上下文）和微调（固化领域知识）的适用场景。例如：RAG 中提示工程更灵活（可切换知识库），微调更稳定（无检索延迟）。
- 如果你只做过传统 NLP：用“规则 vs 模型”类比迁移。提示工程像规则系统（快速、可解释），微调像深度学习模型（高精度、高成本）。强调你在传统 NLP 中如何用规则做快速原型，再决定是否训练模型。
- 如果你是校招无项目：聚焦论文复现 demo。例如用 GPT-4 做 few-shot 情感分类（提示工程），对比微调 BERT 的效果，展示你理解决策边界。可提《Prompting vs Fine-tuning》等论文。
- 《Prompting vs Fine-tuning: A Cost-Benefit Analysis for LLM Applications》（博客，2024）
- 《LoRA: Low-Rank Adaptation of Large Language Models》（论文，2021）
- 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（论文，2022）
- 《The Cost of Fine-Tuning: A Practical Guide》（Hugging Face 博客，2023）
- 《Few-Shot Prompting vs Fine-Tuning: When to Use Which?》（OpenAI Cookbook，2024）