在 RAG 中，你是如何判断检索召回“是否足够好”的？如果要做一个离线评测体系，你会怎么设计标注、评估指标以及 A/B 对比策略
1️⃣ 考察意图
这道题考察的是系统设计 + 工程取舍能力，而非单纯背指标。面试官真正想看的是：你是否理解检索质量对 RAG 最终回答的因果链——检索召回“好”不等于回答“好”。刁钻点在于：离线指标（如 Recall@k）与在线效果（如回答准确率）往往存在 gap，你需要设计一套能桥接这个 gap 的评测体系。答好了能展示你对 RAG 整条链路（检索→生成）的掌控力，以及从标注到实验的工程落地思维。
2️⃣ 标准答
我会从离线指标设计、标注策略、A/B 对比三个层面展开，重点讲如何避免“离线高分、在线翻车”的坑。
离线指标：分层设计，避免单一指标误导
- 检索命中率（Recall@k）：核心指标，衡量 top-k 结果是否包含至少一个相关文档。k 值根据业务场景定：知识问答用 k=5，长文档摘要用 k=10。坑：Recall@k 只关心“有没有”，不关心排序质量，容易导致检索器只堆数量不重精度。
- 平均倒数排名（MRR）：关注第一个相关文档的位置。适合“用户只关心第一个答案”的场景（如 FAQ）。取舍：MRR 对多相关文档场景不敏感，需配合 NDCG 使用。
- 归一化折损累计增益（NDCG）：考虑多级相关性（完全相关/部分相关/不相关）和排序位置。为什么用：RAG 中生成模型对 top-3 文档的依赖远大于 top-10，NDCG 能惩罚“相关文档排太后”的情况。
- 实际落地的坑：离线指标高，但生成回答质量差。解法：引入“检索-生成联合指标”——固定生成模型（如 GPT-4），用检索结果生成回答，再计算回答的 BLEU/Rouge-L 或人工评分。这能直接反映检索对最终输出的影响。
标注策略：三级相关性 + 困难样本挖掘
- 标注体系：采用三级相关性（完全相关、部分相关、不相关），避免二分类（相关/不相关）的模糊性。例如，问题“如何配置 Nginx 反向代理”，文档只讲“Nginx 安装”标为部分相关。
- 标注数据量：至少 500 个问题，每个问题标注 3-5 个相关文档（包括负样本）。坑：标注者容易偏向“看起来相关”的文档，忽略语义匹配。解法：加入对抗样本——比如问题“Python 列表推导式”，故意混入“Java 循环”文档，强制标注者区分。
- 自动标注替代方案：用 LLM（如 GPT-4）生成伪标签，但需人工抽检 10% 数据校准。取舍：自动标注成本低，但会引入噪声，适合快速迭代；人工标注精度高，适合最终评估。
A/B 对比策略：隔离变量 + 多维度监控
- 实验设计：固定生成模型（如 GPT-4），仅改变检索模块（如从 BM25 换为 DPR）。用户流量随机分两组，每组至少 10,000 次请求（统计显著性要求）。
- 在线指标：
- 回答准确率：由人工或自动评估（如 LLM-as-Judge）打分，这是核心指标。
- 用户行为指标：点击率、停留时间、二次搜索率。坑：用户点击率可能受 UI 影响，需确保两组 UI 一致。
- 持续监控与回滚：设置告警阈值——当回答准确率下降超过 5% 或用户停留时间减少 10% 时，自动回滚到基线。实际落地坑：在线指标波动大（如节假日流量异常），需用“滑动窗口 + 历史基线对比”过滤噪音。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从离线指标、标注策略、A/B 对比三个层面回答。离线指标用 Recall@k、MRR、NDCG 分层评估，重点引入检索-生成联合指标避免离线高分在线翻车；标注采用三级相关性 + 困难样本挖掘，至少 500 条数据；A/B 对比固定生成模型，用回答准确率和用户行为指标双维度监控，设置 5% 下降阈值自动回滚。总结一句：评测体系必须桥接离线与在线的 gap，否则指标再好看也是自欺欺人。”
4️⃣ 高频追问 & 应对
追问 1：如果标注数据只有 100 条，你怎么保证离线指标可信？
用 Bootstrap 重采样：从 100 条中随机有放回抽取 100 条，重复 1000 次，计算指标均值和置信区间。如果置信区间宽度超过 10%（如 Recall@5 在 0.6-0.8 之间），说明数据量不足，需补充标注。取舍：Bootstrap 能给出统计可靠性，但无法弥补数据偏差——如果 100 条全是简单问题，指标会虚高。解法：用主动学习挑选困难样本（如检索结果与标注不一致的 query）优先标注。
追问 2：在线 A/B 测试中，回答准确率怎么自动评估？用 LLM 打分靠谱吗？
用 LLM-as-Judge（如 GPT-4 打分），但需校准。具体做法：先让 LLM 对 100 条样本打分，再与人工评分对比，计算 Cohen’s Kappa 系数。如果 Kappa < 0.6，说明 LLM 打分不可靠，需调整 prompt（如加入评分标准示例）。坑：LLM 打分有位置偏差（倾向于给第一个答案高分），解法：随机打乱答案顺序后多次打分取平均。
追问 3：如果检索召回率很高（Recall@5=0.95），但回答准确率低，可能是什么原因？怎么排查？
可能原因：① 检索结果包含噪声文档，生成模型被误导（如检索到“Nginx 安装”但问题问“配置”）；② 生成模型对 top-1 文档过度依赖，忽略后续文档。排查方法：先检查检索结果的相关性分布——如果 top-1 文档不相关，但 top-5 中有相关文档，说明排序模型有问题；再检查生成模型对 top-1 的注意力权重（用注意力可视化工具）。解法：引入重排序模型（如 Cohere Rerank）或调整生成 prompt（如“请基于所有检索结果回答”）。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提 Recall@k 和 MRR，不说 NDCG 和联合指标 → ✅ 必须补充 NDCG 处理多级相关性，以及检索-生成联合指标桥接离线在线 gap。
- ❌ 说“标注 1000 条数据就够了”但不提统计显著性 → ✅ 明确标注量取决于业务复杂度，至少 500 条，并用 Bootstrap 验证置信区间。
- ❌ 在线 A/B 只对比回答准确率，忽略用户行为指标 → ✅ 必须同时监控用户行为（点击率、停留时间），因为准确率可能受评估方法偏差影响。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索-生成联合指标”切入，强调你在项目中如何用离线指标指导检索策略迭代（如从 BM25 换为 DPR 后 Recall@5 提升 10%，但回答准确率只提升 3%，最终通过重排序模型解决）。
- 如果你只做过传统 NLP：用“信息检索评估”类比迁移——比如把 NDCG 从搜索排序场景搬到 RAG，强调多级相关性的重要性，并补充你如何用 BLEU 评估生成质量。
- 如果你是校招无项目：聚焦论文复现——比如复现“RAGAS”评估框架（Recall@k + 答案忠实度），用公开数据集（如 Natural Questions）跑一遍离线评测，输出一份评估报告。
- RAGAS: Automated Evaluation of Retrieval Augmented Generation（论文）
- Karpathy 博客：How to Evaluate RAG Systems（技术博客）
- BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models（论文）
- Cohere Rerank 官方文档：重排序模型在 RAG 中的应用
- LangSmith 评估指南：RAG 离线与在线指标设计（工具文档）