Compare different information retrieval metrics and which one to use when
1️⃣ 考察意图
面试官想考察你是否真正理解检索指标背后的用户行为假设，而非只会背公式。这是典型的“工程取舍 + 系统设计”混合题。刁钻点在于：候选人常混淆“指标高=系统好”与“指标匹配业务目标”的关系。答好了能展示：① 对 Precision/Recall/MAP/NDCG/ERR 的数学定义和适用边界的精准掌握；② 能根据业务场景（如搜索、推荐、问答）反向推导出最合适的指标；③ 有实际调优经验，知道指标间的 Spearman 相关性分析和“指标欺骗”陷阱。
2️⃣ 标准答
一、指标分类与核心公式
- 二元相关指标：Precision@K、Recall@K、F1。假设相关性是 0/1 硬阈值。Precision@K = 前 K 个结果中相关文档数 / K；Recall@K = 前 K 个结果中相关文档数 / 总相关文档数。缺陷：不考虑排序位置，且对多级相关性（如“非常相关”“部分相关”）无区分力。
- 排序感知指标：MAP（Mean Average Precision）、NDCG（Normalized Discounted Cumulative Gain）、ERR（Expected Reciprocal Rank）。
- MAP：对每个查询计算 AP = Σ(P@k * rel_k) / 总相关数，再对所有查询取平均。假设：二元相关，且用户会看完整列表。坑：若查询只有 1 个相关文档，AP 上限被锁死，无法区分不同排序质量。
- NDCG：DCG = Σ(2^rel_i - 1) / log2(i+1)，归一化到 [0,1]。优势：支持多级相关性（如 0-3 分），且位置折损是对数衰减（log2(i+1)），更贴近用户“越往后越不看”的行为。工程取舍：NDCG@K 对 K 值敏感——K=10 时前 3 个位置权重极高，适合首屏优化；K=100 时尾部文档权重可忽略，适合长尾召回评估。
- ERR：基于级联浏览模型（Cascade Model），假设用户从上到下扫描，遇到第一个满意文档就停止。ERR = Σ (1 / i) * Π_{j=1}^{i-1} (1 - R_j) * R_i，其中 R_i 是文档 i 的满意度概率（由相关性映射）。优势：比 NDCG 更真实模拟用户行为——NDCG 假设用户会看完所有结果，ERR 假设用户会提前终止。代价：计算复杂，且满意度概率映射需要标定（如相关性 3 分映射为 R=0.8），不同标定方式会导致指标排名不一致。
二、实际落地的坑与解法
- 坑 1：NDCG 在稀疏相关性下失效。若大部分查询只有 1-2 个相关文档，NDCG 的归一化因子（IDCG）会很小，导致高分文档被过度惩罚。解法：改用 NDCG@K 并设置 K 为业务首屏长度（如 K=5），或结合 ERR 做交叉验证。
- 坑 2：ERR 对“第一个满意文档”位置极度敏感。若系统把高相关文档排在第 2 位，ERR 得分会远低于排在第 1 位，但 NDCG 可能只差 0.05。解法：在搜索场景（用户有明确意图）优先用 ERR；在推荐场景（用户浏览多轮）优先用 NDCG。
- 坑 3：指标间排序一致性陷阱。TREC 数据集上，MAP 和 NDCG 的 Spearman 相关系数通常 >0.9，但 ERR 与 NDCG 在 top-10 上可能只有 0.7-0.8。解法：不要只看单一指标，用“指标矩阵”做决策——若 A 系统在 NDCG 上高 0.02 但 ERR 低 0.05，说明 A 把相关文档堆在了尾部，实际用户体验可能更差。
三、场景选择决策树
- 高精度场景（如法律检索、医疗诊断）：用 Precision@K（K=5 或 10），因为用户只关心前几个结果是否全部相关，不关心召回率。
- 高召回场景（如论文查重、证据发现）：用 Recall@K（K=100 或 1000），因为用户愿意翻页找全所有相关文档。
- 排序质量评估（如搜索引擎、问答系统）：用 NDCG@10，因为支持多级相关性且位置折损合理。注意：若相关性标注只有二元（相关/不相关），改用 MAP 更简洁。
- 用户行为模拟（如广告排序、商品推荐）：用 ERR，因为用户大概率只扫前 3-5 个结果，遇到满意就停。注意：ERR 需要额外标定满意度概率，若标定不准，结果可能误导。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从指标分类、工程取舍、场景选择三个层面回答。首先，指标分二元相关（Precision/Recall/MAP）和多级相关（NDCG/ERR），核心区别在于是否考虑排序位置和相关性粒度。其次，NDCG 假设用户看完所有结果，ERR 假设用户提前终止，实际落地中 NDCG 在稀疏相关性下会失效，ERR 对首条位置极度敏感。最后，高精度用 Precision@K，高召回用 Recall@K，排序质量用 NDCG@10，用户行为模拟用 ERR。总结一句：没有万能指标，必须根据业务目标和用户行为假设反向选择。”
4️⃣ 高频追问 & 应对
追问 1：你说 NDCG 和 ERR 在 top-10 上 Spearman 相关系数只有 0.7-0.8，能具体解释一下为什么吗？
因为 NDCG 的位置折损是对数衰减（log2(i+1)），前 3 个位置权重差异大（位置 1 权重 1，位置 2 权重 0.63，位置 3 权重 0.5），但 ERR 的折损是线性衰减（1/i），且受级联模型影响——若位置 1 的文档满意度高，后续文档权重被急剧压缩。例如：系统 A 把高相关文档排在位置 1，低相关排在位置 2-10；系统 B 把高相关排在位置 2，其他排在位置 1 和 3-10。NDCG 可能给 A 打 0.9、B 打 0.85，但 ERR 会给 A 打 0.8、B 打 0.4，因为 B 的第一个满意文档在位置 2，用户可能已经跳过了。这就是指标假设不同导致的排名不一致。
追问 2：如果业务目标是“用户找到第一个满意结果的平均位置”，应该用什么指标？
应该用 MRR（Mean Reciprocal Rank），即第一个相关文档位置的倒数取平均。MRR 比 ERR 更简洁，因为它只关心第一个相关文档，不关心后续。但 MRR 的缺陷是：若第一个相关文档在位置 1，MRR=1；在位置 2，MRR=0.5；在位置 10，MRR=0.1。它无法区分“位置 2 的文档非常相关”和“位置 2 的文档勉强相关”。若业务需要区分相关性等级，可以改用 ERR 并设置满意度概率映射。
追问 3：在离线评估中，如果 NDCG 和 ERR 结果矛盾，你如何判断哪个指标更可信？
我会做两件事：第一，检查相关性标注的分布——若大部分标注是二元（相关/不相关），NDCG 退化为 DCG，此时 ERR 更可信；若标注是多级且分布均匀，NDCG 更稳定。第二，做用户行为回放分析——抽取矛盾查询，看用户实际点击和停留时间。例如，若 NDCG 高的系统用户点击集中在位置 3-5，而 ERR 高的系统用户点击集中在位置 1-2，则 ERR 更贴近“快速满足”的业务目标。最终决策应基于 A/B 测试的线上指标（如 CTR、停留时长、转化率），离线指标只是筛选候选系统的工具。
5️⃣ 避坑 · 常见错误答法
- ❌ “NDCG 比 MAP 好，所以所有场景都用 NDCG。” → ✅ “NDCG 支持多级相关性，但若标注只有二元，MAP 更简洁且计算更快；在稀疏相关性场景下，NDCG 的归一化因子会引入噪声，此时 MAP 更鲁棒。”
- ❌ “ERR 是 NDCG 的改进版，所以 ERR 永远更好。” → ✅ “ERR 基于级联模型，适合用户快速终止的场景（如搜索），但在推荐场景（用户浏览多轮）中，NDCG 更合适，因为 ERR 会过度惩罚尾部高质量文档。”
- ❌ “Precision@K 和 Recall@K 是基础指标，面试时提一下就行。” → ✅ “Precision@K 在高精度场景（如法律检索）中仍是黄金标准，因为 Recall@K 需要知道总相关文档数，这在开放域中不可计算。实际落地中，常用 Precision@5 和 Recall@100 组合评估。”
6️⃣ 简历呼应
- 如果你有搜索/推荐系统项目：从“指标选择如何影响模型迭代”切入。例如：“在 XX 搜索项目中，我们最初用 NDCG@10 评估，但发现模型倾向于把高相关文档排在位置 2-3 而非位置 1，因为 NDCG 对位置 1 的权重不够高。切换到 ERR 后，模型开始优化首条结果，线上 CTR 提升了 12%。”
- 如果你只做过传统 NLP（如文本分类、序列标注）：用“分类任务指标”做类比迁移。例如：“文本分类用 Accuracy 和 F1，类似检索用 Precision 和 Recall；但检索多了排序维度，所以需要 NDCG 这种位置感知指标。我在 XX 项目中用 NDCG 评估排序模型，发现它比 Accuracy 更能反映用户满意度。”
- 如果你是校招无项目：聚焦“指标对比论文复现”。例如：“我在 TREC Robust 2004 数据集上复现了 MAP、NDCG 和 ERR 的计算，发现 MAP 和 NDCG 的 Spearman 相关系数为 0.92，但 ERR 与 NDCG 在 top-5 上只有 0.75。这说明 ERR 对排序位置更敏感，适合模拟用户快速浏览行为。”
- 《Learning to Rank for Information Retrieval》（Tie-Yan Liu）—— 指标章节的数学推导和实验对比
- TREC 2004 Robust Track 数据集及官方评估脚本 —— 实践指标计算和一致性分析
- “Expected Reciprocal Rank for Graded Relevance”（Chapelle et al., CIKM 2009）—— ERR 的原始论文，含级联模型推导
- “A Comparison of IR Metrics”（Sakai, 2007）—— 多指标在 TREC 上的 Spearman 相关性实验
- 百度飞桨 PaddleRec 的评估模块源码 —— 工业级指标实现，含 NDCG 和 ERR 的 batch 计算优化