Which metrics (e.g., MRR, MAP, NDCG) would you prioritize and why
1️⃣ 考察意图
面试官想看你是否真正理解排序指标背后的业务语义，而非死记硬背公式。考察类型是工程取舍与系统设计的结合。刁钻点在于：候选人常能背出 MRR/MAP/NDCG 定义，但一问“在 RAG 的 top-k 检索中，为什么 MRR 可能误导你？”就卡壳。答好了能展示：① 根据用户行为（点击/浏览/对话）选择指标的能力；② 对指标缺陷（如 MAP 的二元假设、NDCG 的归一化偏差）有实战认知；③ 能结合具体场景（问答 vs 搜索 vs 推荐）给出组合策略。
2️⃣ 标准答
我会从指标语义和业务场景两个维度拆解，最后给出一个组合策略。
一、指标核心语义与缺陷
- MRR（Mean Reciprocal Rank）：只关心第一个相关文档的排名倒数。缺陷：忽略后续所有相关文档。适合“用户只点一次”的场景（如语音助手问答），但若用户需要浏览多个结果（如论文搜索），MRR 会严重低估系统质量。
- MAP（Mean Average Precision）：对每个 query 计算所有相关文档位置的平均精度，再取平均。缺陷：假设相关性是二元的（相关/不相关），且对排序靠后的相关文档惩罚过重。在分级相关性（如 0-4 分）场景下，MAP 会丢失信息。
- NDCG（Normalized Discounted Cumulative Gain）：支持多级相关性，且用对数折扣（log2）模拟用户浏览深度。缺陷：归一化依赖理想排序（IDCG），当相关文档数少时，NDCG 方差极大；且折扣函数（log2）对长尾排序不敏感。
二、业务场景选择策略
- 问答型（如 FAQ 检索）：优先 MRR@1 或 MRR@3。用户期望第一个结果命中，MRR 直接反映“首条命中率”。实际坑：若知识库中同一问题有多个等价答案，MRR 会因只取第一个而低估。解法：用 Recall@k 兜底，或改用 Success@k（只要前 k 个中有相关就算成功）。
- 搜索型（如文档检索）：优先 NDCG@10 + MAP。NDCG 评估排序质量（分级相关性），MAP 评估整体召回率。实际坑：NDCG 的 IDCG 计算在稀疏相关场景下不稳定。解法：对每个 query 的 IDCG 做平滑（如加 0.5 伪计数），或改用 ERR（Expected Reciprocal Rank），它基于用户浏览模型，对位置更敏感。
- RAG 系统：组合 MRR@5（评估检索器首条命中） + NDCG@10（评估排序质量）。原因：RAG 的生成质量高度依赖检索结果的前几条，MRR 确保第一条不偏，NDCG 确保整体排序不差。实际坑：若生成器对输入顺序敏感（如 LLM 的“近因偏差”），NDCG 的折扣函数需调整。解法：用 NDCG-α（引入多样性惩罚）或 Recall@k 替代。
三、工程取舍与落地坑
- 计算效率：MRR 和 MAP 只需二元判断，计算快；NDCG 需要多级标注，标注成本高。在 A/B 测试中，建议先用 MRR 做快速筛选，再用 NDCG 做精细评估。
- 数据稀疏：在长尾 query 上，NDCG 的 IDCG 可能为 0（无相关文档），导致指标无效。解法：只统计有至少一个相关文档的 query，或改用 nDCG@k（截断到 k，避免 IDCG 为 0）。
- 用户行为偏差：线上指标（如点击率）与离线指标（如 NDCG）常不一致。例如，用户可能因摘要吸引而点击排名靠后的文档。解法：离线用 NDCG，线上用 Time-to-Click 或 Dwell Time 做交叉验证。
四、推荐组合
- 通用场景：NDCG@10 + MRR@5 + Recall@20。NDCG 评估排序，MRR 评估首条，Recall 评估覆盖率。
- 高精度场景（如医疗检索）：MRR@1 + Precision@5。确保第一条绝对相关，前五条无噪声。
- 高召回场景（如法律检索）：MAP + Recall@100。容忍低排序质量，但必须覆盖所有相关文档。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从指标语义、业务场景、组合策略三个层面回答。首先，MRR 只关注首条命中，适合问答；MAP 假设二元相关，适合搜索；NDCG 支持分级，适合推荐。其次，在 RAG 中，我优先组合 MRR@5 和 NDCG@10，前者确保检索器首条不偏，后者评估排序质量。最后，注意 NDCG 在稀疏数据下不稳定，需用 Recall 兜底。总结一句：没有万能指标，必须根据用户行为（点击/浏览/对话）和业务目标（精度/召回）动态选择。”
4️⃣ 高频追问 & 应对
追问 1：在 RAG 中，如果生成器对输入顺序敏感（比如 LLM 更关注前几条），你会怎么调整指标？
我会用 NDCG-α 或 Weighted NDCG，对前 k 个位置赋予更高权重（比如指数衰减而非对数衰减）。具体做法：将折扣函数从 log2(i+1) 改为 exp(-α*i)，α 根据 LLM 的“近因偏差”实验调参。同时，用 Recall@k 兜底，确保即使排序不佳，相关文档仍在 top-k 内。实际坑：调整权重后，指标可能过拟合特定 LLM，需在多个生成器上交叉验证。
追问 2：你的指标组合在 A/B 测试中与线上指标（如点击率）不一致，怎么排查？
首先，检查离线指标是否使用了正确的相关性标注（人工 vs 用户行为）。常见问题：离线用二元相关，但线上用户行为是分级的（如点击、收藏、分享）。解法：用 DCG 替代 NDCG，避免归一化偏差。其次，检查截断值 k 是否匹配用户浏览深度。例如，用户平均只看前 3 条，但 NDCG@10 会引入噪声。解法：用 NDCG@3 对齐用户行为。最后，用 ERR 替代 NDCG，它基于用户浏览模型，更贴近线上行为。
追问 3：如果标注成本高，你如何用少量标注数据评估排序质量？
用 弱监督指标：① 用 LLM 生成伪相关性标签（如让 GPT-4 对 top-20 结果打分 0-4），然后计算 NDCG。② 用 点击模型（如 Position-Based Model）从用户日志中推断相关性，再计算 MRR。③ 用 A/B 测试指标（如 Time-to-Click、Dwell Time）直接评估，避免离线标注。实际坑：弱监督标签有噪声，需用人工标注的黄金子集做校准（比如 100 条 query 的 NDCG 相关性）。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“MRR 最好，因为它简单” → ✅ 说“MRR 适合首条命中场景，但忽略后续相关文档，需配合 Recall 使用”
- ❌ 说“NDCG 万能，因为它支持分级” → ✅ 说“NDCG 在稀疏数据下 IDCG 不稳定，且折扣函数对长尾不敏感，需根据用户浏览深度调整 k”
- ❌ 说“MAP 过时了，不用” → ✅ 说“MAP 在二元相关场景下仍有效，且计算快，适合快速筛选”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索器 + 生成器联合评估”角度切入，强调 MRR 评估检索首条命中，NDCG 评估排序质量，并提到用 Recall@k 兜底生成器对输入顺序的敏感度。
- 如果你只做过传统搜索：用“用户点击模型”类比，说 MRR 对应“首条点击率”，NDCG 对应“整体浏览深度”，并提到在 TREC 数据集上做过 MAP 与 NDCG 的对比实验。
- 如果你是校招无项目：聚焦“指标缺陷分析”，说在课程作业中复现了 NDCG 的 IDCG 计算，发现稀疏数据下方差大，并用平滑方法（加伪计数）解决。
- 《Learning to Rank for Information Retrieval》by Tie-Yan Liu（经典教材，涵盖 MRR/MAP/NDCG 理论）
- 《A Survey of Evaluation Metrics for Information Retrieval》by Aslam et al.（指标对比与缺陷分析）
- 《ERR: Expected Reciprocal Rank》by Chapelle et al.（基于用户浏览模型的指标）
- 《NDCG-α: Diversity-Aware Evaluation》by Clarke et al.（多样性场景下的指标变体）
- 《Evaluating RAG Systems: A Practical Guide》by LangChain Blog（RAG 场景下的指标组合策略）