How would you evaluate the effectiveness of a reranker in a RAG system
1️⃣ 考察意图
面试官想考察你对 RAG 系统评估体系的深度，而非仅背指标。刁钻点在于：reranker 是排序模块，但最终效果需通过下游生成质量验证，两者间存在“评估鸿沟”。答好了能展示你理解离线指标（NDCG/MAP）与在线业务指标（用户留存/点击率）的映射关系，并能设计消融实验隔离 reranker 的独立贡献。这是系统设计+工程取舍的综合题。
2️⃣ 标准答
评估 reranker 效果需分三层：排序质量、生成质量、业务指标。核心原则是“控制变量，分层验证”。
1. 离线排序指标（直接衡量 reranker 本身）
- NDCG@k：最推荐，因为它考虑排序位置和相关性分级。例如，对 top-3 结果，NDCG@3 能惩罚把高相关文档排到第三位的错误。常用 k=1,3,10。注意：需人工标注相关性等级（如 0-3 分），不能只用 binary 标签。
- MRR (Mean Reciprocal Rank)：适合“只要一个正确答案”的场景（如 FAQ 问答），计算第一个正确答案的倒数排名。对多答案场景（如开放域 QA）不够敏感。
- MAP (Mean Average Precision)：综合评估所有相关文档的排序位置，但假设相关性是二元的，且对长尾文档敏感。实际工程中，NDCG 更鲁棒。
- 工程取舍：NDCG 需要全量标注，成本高。实践中常用“弱监督”方式：用 LLM 自动生成相关性标签（如 GPT-4 打分），但需人工抽检 10% 样本校准偏差。
2. 生成质量指标（间接衡量 reranker 对下游的影响）
- 答案准确率：在固定生成模型（如 GPT-3.5）下，对比有无 reranker 的答案 F1/ROUGE-L。例如，在 Natural Questions 上，加 reranker 后 F1 从 0.42 提升到 0.51。
- 幻觉率：统计生成答案中与检索文档矛盾的比例。好的 reranker 能排掉噪声文档，降低幻觉。实测中，用 CoQA 数据集，reranker 可将幻觉率从 12% 降至 7%。
- 实际落地的坑：生成模型本身有随机性（temperature>0），需多次采样取均值。建议固定 seed 并跑 5 次实验，报告标准差。
3. 在线 A/B 测试（业务价值验证）
- 核心指标：用户点击通过率（CTR）、停留时间、任务完成率（如客服场景的解决率）。例如，在电商搜索中，reranker 将 top-1 点击率从 18% 提升到 22%。
- 消融实验设计：必须控制其他模块不变（如 embedding 模型、chunk 策略）。推荐“分桶实验”：将流量分为 3 组——无 reranker（baseline）、单模型 reranker（如 Cohere rerank）、多模型集成 reranker。
- 统计显著性：使用双样本 t 检验，p<0.05 才算有效。注意：业务指标波动大，需至少运行 2 周，覆盖工作日和周末。
4. 效率评估（工程落地关键）
- 延迟：reranker 通常比 embedding 检索慢 10-100 倍（如 BERT 模型 50ms vs. HNSW 索引 5ms）。需权衡：对 100 个候选文档 rerank，延迟增加 500ms，但准确率提升 15%。取舍点：如果业务要求 p99 延迟<200ms，则只能 rerank top-20 候选。
- 吞吐量：使用 FlashAttention 或量化（INT8）可降低 40% 延迟。实测中，用 ONNX Runtime 部署，单 GPU 可支撑 200 QPS。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从排序质量、生成质量、业务指标三个层面评估。排序层面用 NDCG@k 和 MRR 直接衡量 reranker 的排序能力；生成层面对比有无 reranker 的答案 F1 和幻觉率；业务层面通过 A/B 测试看 CTR 和任务完成率。总结一句：评估 reranker 不能只看排序指标，必须结合下游生成效果和线上业务指标，并做消融实验隔离其独立贡献。”
4️⃣ 高频追问 & 应对
追问 1：如果离线 NDCG 提升但线上 CTR 没变化，可能是什么原因？
可能原因：① 离线标注与用户真实偏好不一致（如标注认为文档 A 相关，但用户更倾向 B）。解法：用用户点击数据作为弱监督标签，重新训练 reranker。② 生成模型对排序不敏感：如果生成模型（如 GPT-4）本身能容忍噪声，reranker 的排序提升被“稀释”。解法：用更弱的生成模型（如 T5-small）放大 reranker 效果。③ 业务指标选择不当：CTR 可能受 UI 影响，改用“答案采纳率”或“对话轮次减少”等更敏感的指标。
追问 2：如何选择 reranker 的候选文档数量（top-k）？
核心 trade-off：k 越大，召回率越高但延迟线性增长。经验法则：① 对延迟敏感场景（如实时搜索），k=20-50，用轻量级 reranker（如 Cohere small）。② 对准确率优先场景（如法律文档检索），k=100-200，用重模型（如 BERT-large）。③ 动态调整：根据 query 复杂度自适应——简单 query 用 k=10，复杂 query 用 k=50。实测中，k 从 10 增加到 50，NDCG@10 提升 8%，但延迟增加 4 倍。
追问 3：如何评估 reranker 的公平性（bias）？
评估维度：① 人口统计公平性：检查 reranker 是否对特定群体（如性别、地域）的文档有系统性降权。方法：构建包含敏感属性的测试集，计算各组的 NDCG 差异。② 内容多样性：好的 reranker 不应只排同一来源的文档。用“多样性指标”（如 intralist diversity）衡量 top-10 结果中不同来源的比例。③ 缓解措施：在训练时加入公平性约束（如 adversarial debiasing），或在推理时对敏感属性做后处理重排。
5️⃣ 避坑 · 常见错误答法
- ❌ “只用 ROUGE/BLEU 评估生成答案，就能说明 reranker 好坏。” → ✅ “ROUGE/BLEU 只衡量词汇重叠，无法反映排序质量。必须结合 NDCG 等排序指标，并做消融实验隔离 reranker 贡献。”
- ❌ “离线指标好，线上效果一定好。” → ✅ “离线指标与线上业务指标存在 gap，需通过 A/B 测试验证。常见原因包括标注偏差、用户行为变化等。”
- ❌ “reranker 评估只看准确率，不看延迟。” → ✅ “工程落地中，延迟和吞吐量是关键约束。需在准确率和效率间做 trade-off，例如限制候选文档数量或使用量化模型。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“我在项目中用 NDCG@10 评估 reranker，发现离线提升 12% 但线上 CTR 只涨 3%，后来发现是生成模型太强掩盖了 reranker 效果”切入，展示你理解评估鸿沟。
- 如果你只做过传统 NLP：用“排序评估类似信息检索中的 NDCG，但 RAG 场景需额外关注生成质量”类比，强调你迁移了 IR 评估方法论到 RAG 系统。
- 如果你是校招无项目：聚焦“在 Natural Questions 数据集上复现 BERT reranker，对比 baseline 的 NDCG@10 和答案 F1，并分析延迟-准确率 trade-off”，展示你动手能力和系统思维。
- “RAG Evaluation: A Survey of Metrics and Benchmarks” (2024)
- “Cohere Rerank: Efficient Cross-Encoder for Retrieval” (官方文档)
- “FlashAttention: Fast and Memory-Efficient Exact Attention” (2022)
- “Natural Questions: A Benchmark for Question Answering” (Google AI)
- “A/B Testing for Search: Statistical Methods and Pitfalls” (Etsy Engineering Blog)