如何判断模型质量下降是模型问题、Prompt 问题还是数据问题
1️⃣ 考察意图
面试官想看的不是“你懂评估”，而是你能否在线上故障时，像外科医生一样快速隔离病灶。这是典型的 debug + 系统设计 题，刁钻点在于：三类问题（模型、Prompt、数据）往往交织出现，且表象相似（如回答变差）。答好了能展示你具备 系统化根因分析（RCA） 能力、对 LLM 系统各组件耦合关系的理解，以及从工程角度权衡修复成本的实战经验。核心是证明你不是“调参侠”，而是能定位并解决问题的架构师。
2️⃣ 标准答
定位质量下降，核心方法论是 “隔离变量 + 分层诊断”。不要凭感觉猜，要像做 A/B 测试一样控制变量。我通常按以下四步走：
第一步：建立可复现的回归测试集
- 没有基线，一切诊断都是空谈。必须维护一个 Golden Test Set，包含 50-100 个覆盖核心业务场景的输入-预期输出对。
- 坑：线上数据分布会漂移，测试集必须定期用 数据漂移检测工具（如 Evidently AI、WhyLabs） 更新，否则测试集本身会过时。解法：每周从线上采样，人工标注后加入测试集，并保留历史版本。
第二步：隔离变量，分层消融这是最关键的工程步骤，按影响范围从大到小排查：
- 数据问题（最常见，先查）：固定 Prompt 和模型版本，对比新旧两天的线上输入分布。
- 用 KL 散度 或 PSI（群体稳定性指标） 检测特征分布漂移。例如，用户 query 中突然出现大量新术语（如“AGI”），但知识库未更新，导致检索召回率从 0.85 掉到 0.6。
- 具体操作：跑一次 BM25 检索，看 top-5 命中率是否下降。如果下降，大概率是数据问题。
- Prompt 问题（次常见）：固定模型版本，回滚到上一个稳定 Prompt，对比效果。
- 如果回滚后恢复，说明新 Prompt 引入了指令冲突或格式约束过强。例如，在 System Prompt 里加了“必须用 JSON 输出”，但模型版本对 JSON 格式的遵循能力不同，导致部分输出被截断。
- 用 Prompt 差分测试：只改 Prompt 中一句话，观察输出变化。
- 模型问题（最后查，因为成本高）：固定 Prompt 和输入，切换模型版本（如从 GPT-4-0613 切到 GPT-4-1106）。
- 如果效果变差，检查 模型更新日志。例如，新版本可能优化了安全性，但牺牲了创造性回答的多样性。
- 用 Perplexity 或 Logprobs 分析模型对特定 token 的置信度。如果置信度普遍下降，可能是模型内部行为漂移。
第三步：分析错误模式，定性分类隔离出问题域后，通过错误样本的“症状”快速定性：
- 模型问题：语义理解偏差（如把“苹果”当水果而非公司）、幻觉（生成不存在的事实）、逻辑断裂。典型特征：输出流畅但内容错误。
- Prompt 问题：指令遵循失败（如忽略“只输出中文”）、格式错误（JSON 解析失败）、输出过长/过短。典型特征：输出结构或风格不符合要求。
- 数据问题：知识缺失（如问“2024 年诺贝尔奖得主”返回空）、信息过时（返回 2023 年数据）、检索噪声（返回不相关片段）。典型特征：输出内容空洞或与事实不符。
第四步：综合决策，权衡修复成本
- 数据问题：修复成本最低（更新知识库、清洗数据），优先处理。
- Prompt 问题：中等成本（修改 Prompt 并回归测试），但要注意 Prompt 可能与其他组件耦合（如 RAG 的检索 Prompt）。
- 模型问题：成本最高（可能涉及重新训练、微调或切换供应商），通常作为最后手段。例如，如果模型版本回退能解决问题，优先回退，而不是立即投入微调。
实际落地的坑 + 解法：
- 坑：线上日志不完整，无法回溯输入。解法：在 API 网关层记录所有请求的 输入、输出、模型版本、Prompt 版本、检索结果，形成可追溯的 Trace ID。
- 坑：三类问题同时出现。解法：先修复数据问题（因为最易），再修复 Prompt 问题，最后看模型问题是否仍然存在。这叫 “从易到难”原则。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从 隔离变量、错误模式分析、修复成本权衡 三个层面回答。首先，建立 Golden Test Set 作为基线，然后按数据→Prompt→模型的顺序隔离变量，用 KL 散度检测数据漂移，用 Prompt 回滚测试定位 Prompt 问题，用模型版本对比定位模型问题。其次，通过错误样本的‘症状’定性：模型问题导致语义错误，Prompt 问题导致格式错误，数据问题导致知识缺失。最后，按修复成本从低到高决策，优先处理数据问题。总结一句：系统化隔离变量 + 定性错误模式 = 精准定位根因。”
4️⃣ 高频追问 & 应对
追问 1：如果线上没有 Golden Test Set，你怎么快速定位？
那就用 “影子模式”。将当前线上流量复制一份，同时发给旧版本（稳定版）和新版本，对比输出差异。用 语义相似度（如 Sentence-BERT） 计算两个输出的余弦相似度，低于 0.8 的样本标记为“异常”。然后人工抽样分析这些异常样本，看是模型、Prompt 还是数据问题。这相当于用旧版本作为“隐式基线”，虽然粗糙，但 30 分钟内能给出初步结论。
追问 2：你如何区分“模型幻觉”和“数据噪声”？
关键看 检索结果。如果模型输出了检索结果中没有的信息，那就是幻觉（模型问题）。如果模型直接复述了检索结果中的错误信息，那就是数据噪声（数据问题）。具体操作：在 RAG 系统中，记录每次检索的 top-k 片段，然后对比模型输出与这些片段的 ROUGE-L 或 BLEU 分数。如果输出与检索片段高度重合（ROUGE-L > 0.7），但内容错误，定位为数据问题；如果输出与检索片段不重合，且内容错误，定位为模型幻觉。
追问 3：如果模型版本没变，但效果突然下降，最可能是什么问题？
90% 是 数据分布漂移。用户 query 的语义空间变了，导致检索召回率下降。例如，电商客服场景中，双十一期间用户 query 从“退换货”变为“优惠券叠加”，但知识库未更新。解法：立即用 K-means 聚类 分析最近 1 小时的 query 分布，与历史分布对比，如果聚类中心偏移超过阈值，触发数据更新流程。另外，也可能是上游 API（如 Embedding 服务）的延迟或错误率上升，导致检索质量下降，需要检查 P99 延迟 和 错误率。
5️⃣ 避坑 · 常见错误答法
- ❌ “先看模型是不是更新了，再看 Prompt 是不是改了，最后看数据。” → ✅ “应该先查数据，因为数据漂移是线上最频繁且最隐蔽的问题。用 KL 散度检测分布变化，比人工检查模型日志更快。数据问题修复成本最低，优先排查。”
- ❌ “把所有样本跑一遍，人工看错误类型。” → ✅ “应该用自动化工具（如 Evidently AI）做数据漂移检测，用 Prompt 差分测试定位 Prompt 问题，用模型版本对比定位模型问题。人工只分析自动化工具筛选出的异常样本，否则效率太低。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索召回率下降”切入，展示你如何用 BM25 和 Embedding 双路召回检测数据漂移，并设计 Trace ID 追踪检索结果。
- 如果你只做过传统 NLP：用“分类模型效果下降”类比，说明你如何用混淆矩阵分析错误模式，并迁移到 LLM 的 Prompt 和模型问题诊断。
- 如果你是校招无项目：聚焦“论文复现”，比如复现《RAGAS》论文中的评估框架，展示你对 Golden Test Set 和错误模式分类的理解，并强调你做过 Prompt 差分测试的 demo。
- 《RAGAS: Automated Evaluation of Retrieval Augmented Generation》
- 《Prompt Engineering Guide》 by DAIR.AI（章节：Debugging Prompts）
- 《Evidently AI: Data Drift Detection in Production ML》
- 《A Survey on Evaluation of Large Language Models》（章节：Error Analysis）
- 《LLM in Production: A Practical Guide to Monitoring and Debugging》