Explain most common metric used in information retrieval and when it fails

1️⃣ 考察意图

面试官想看你是否真正理解 IR 指标的“物理意义”和“失效边界”，而非只会背公式。考察类型是工程取舍 + 系统设计。刁钻点在于：你能否指出 NDCG 在“用户行为偏差”和“长尾查询”下的系统性失败，以及 MAP 在“多级相关度”场景下的信息丢失。答好了能展示你对评估体系的批判性思维、对实际落地场景（如搜索排序、推荐系统）的敏感度，以及选择替代方案（如 ERR、基于用户行为的指标）的工程判断力。

2️⃣ 标准答

最常用指标：NDCG（归一化折损累计增益）

NDCG 是工业界最通用的排序指标，公式为 DCG / IDCG。DCG 计算：DCG@k = sum( (2^rel_i - 1) / log2(i+1) )，其中 rel_i 是第 i 个结果的相关度分级（如 0-4）。NDCG 的核心优势是支持多级相关度和位置衰减，能区分“完美排序”和“可接受排序”。

为什么 NDCG 是默认选择？

对排序位置敏感：log2 衰减模拟用户浏览行为（只看前几项）。
支持非二元相关：比如电商搜索中，“用户点击”=1，“购买”=4，NDCG 能区分。
归一化后跨查询可比：除以 IDCG 消除查询难度差异。

NDCG 的失败模式

用户行为偏差未被建模：NDCG 假设所有用户对同一查询的“相关度”一致。实际中，用户点击受位置偏差（position bias）和展示偏差（presentation bias）影响。例如，搜索结果第一项即使不相关，点击率也高，NDCG 会错误地“奖励”这种排序。解法：使用基于用户行为的指标如 ERR（期望倒数排名），它显式建模用户“停止浏览”的概率，或引入逆倾向得分（IPS）校正。
长尾查询失效：对于低频、冷启动查询，人工标注成本高且不一致。NDCG 依赖高质量多级标注，长尾查询的标注稀疏，导致 IDCG 计算不稳定，指标方差大。实际落地的坑：在 MS MARCO 数据集上，长尾查询的 NDCG 与在线 A/B 测试结果相关系数低于 0.3。解法：改用基于点击模型的指标（如 pClick），或使用无监督指标如 MRR（平均倒数排名）作为快速验证。
相关度分级不均衡：当大部分结果集中在“中等相关”（rel=2）时，NDCG 对排序微调不敏感。例如，两个排序 A 和 B，A 把 rel=2 的结果从第 5 位移到第 1 位，NDCG 提升很小，但用户感知差异大。解法：使用 NDCG 的变体如 NDCG@1（只看首位），或结合 MAP（平均精度均值）做二元相关评估。

另一个常用指标：MAP（平均精度均值）

MAP 假设二元相关（相关=1，不相关=0），计算每个查询的平均精度（AP），再对所有查询取平均。AP 公式：AP = sum( P@k * rel_k ) / 总相关文档数。

MAP 的失败模式

忽略多级相关度：MAP 把“用户点击”和“用户购买”都视为 1，丢失了信息。在电商搜索中，MAP 无法区分“推荐了用户想买的商品”和“推荐了用户只是看看的商品”。解法：改用 NDCG 或 ERR。
位置衰减过于激进：MAP 的 P@k 是硬截断（只算前 k 个），且对排序靠后的相关文档惩罚极大。例如，一个相关文档从第 10 位移到第 11 位，MAP 下降明显，但用户可能根本不会翻到第 10 页。解法：使用 NDCG 的平滑衰减，或使用 Recall@k 作为补充。

替代方案

ERR（期望倒数排名）：显式建模用户“满意即停止”的行为，适合评估“用户是否找到最佳结果”。公式：ERR = sum( 1/k * prod(1 - R_i) * R_k )，其中 R_k 是第 k 个结果的相关度概率。优势：对首位结果敏感，且支持多级相关度。
基于用户行为的指标：如 pClick（预测点击率）、pPurchase（预测购买率），直接使用用户日志训练模型预测行为，避免人工标注偏差。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，最常用指标是 NDCG，因为它支持多级相关度和位置衰减，适合大多数排序场景。第二，NDCG 在用户行为偏差（如位置偏差）和长尾查询下会失效，此时需要改用 ERR 或基于用户行为的指标。第三，MAP 作为备选，在二元相关场景下有效，但无法处理多级相关度。总结一句：选择指标要匹配业务场景，NDCG 是默认选项，但必须知道它的失效边界。”

4️⃣ 高频追问 & 应对

追问 1：你提到 NDCG 受位置偏差影响，具体怎么校正？

使用逆倾向得分（IPS）校正。首先，通过随机化展示（如将搜索结果随机打乱）收集无偏点击数据，训练一个倾向性模型（如 logistic regression）预测每个位置的点击概率。然后，在计算 NDCG 时，对每个点击事件除以倾向性得分，得到无偏估计。工程上，Google 在《Position Bias Estimation for Unbiased Learning to Rank》中提出过具体方法。注意：IPS 的方差较大，需要大量数据，且倾向性模型本身可能引入偏差。

追问 2：在工业级搜索系统中，你如何选择 NDCG 和 ERR？

取决于业务目标。如果目标是“用户尽快找到最佳结果”（如问答搜索），用 ERR，因为它对首位结果敏感。如果目标是“用户浏览多个相关结果”（如新闻推荐），用 NDCG，因为它鼓励排序靠前且覆盖多级相关度。实际中，我会同时监控 NDCG@10 和 ERR@10，并对比在线指标（如点击率、停留时间）。一个 trade-off：ERR 计算复杂度高（需要估计每个结果的相关度概率），而 NDCG 计算简单，适合大规模离线评估。

追问 3：如果标注数据只有二元相关（相关/不相关），你用什么指标？

首选 MAP，因为它直接针对二元相关设计，且对排序敏感。但 MAP 对长尾查询不稳定，我会补充 Recall@k 和 Precision@k。如果数据量足够，可以尝试将二元相关扩展为多级相关度：通过用户行为（如点击、购买、收藏）自动生成多级标签，然后使用 NDCG。注意：自动生成的标签有噪声，需要做置信度过滤。

5️⃣ 避坑 · 常见错误答法

❌ 只说“NDCG 是最好的指标，因为它考虑了排序位置” → ✅ 必须指出 NDCG 的失效场景（如位置偏差、长尾查询），并给出替代方案（ERR、IPS 校正）。
❌ 把 MAP 和 NDCG 混为一谈，说“MAP 也支持多级相关度” → ✅ 明确 MAP 假设二元相关，NDCG 支持多级相关度，并举例说明差异（如电商搜索中 MAP 无法区分点击和购买）。
❌ 只背公式，不解释“为什么 log2 衰减” → ✅ 解释 log2 衰减模拟用户浏览行为（用户只看前几项），并指出这是 trade-off：对靠后结果惩罚过重，但符合实际用户行为。

6️⃣ 简历呼应

如果你有搜索排序项目：从“离线评估指标与在线指标不一致”切入，举例说明 NDCG 在长尾查询下与点击率相关系数低，你如何用 ERR 或 IPS 校正解决。
如果你只做过传统 NLP：用“文本分类的准确率 vs 召回率”类比 NDCG 的 trade-off，强调排序指标对位置敏感，而分类指标不考虑顺序。
如果你是校招无项目：聚焦 MS MARCO 数据集上的指标对比实验，展示你复现过 NDCG、MAP、ERR 的计算，并分析长尾查询下的方差问题。
《Position Bias Estimation for Unbiased Learning to Rank》（Joachims et al., 2017）
《Expected Reciprocal Rank for Graded Relevance》（Chapelle et al., 2009）
《A Comparison of IR Metrics for Evaluating Search Systems》（Sanderson, 2010）
MS MARCO 数据集官方文档（评估指标部分）
《Learning to Rank for Information Retrieval》（Tie-Yan Liu, 2009）

—— 本场面试完 ——