如何提高检出率？如何评价检出质量
1️⃣ 考察意图
面试官想看你是否理解检索系统“召回”与“精度”的博弈本质，而非单纯背指标。考察类型是工程取舍 + 系统设计。刁钻点在于：你能否区分“提高检出率”是优化召回（Recall）还是优化排序（Precision），以及能否给出可落地的多路融合方案，而非空谈“用更好的模型”。答好了能展示你对RAG整条链路的掌控力，包括query改写、切片策略、重排序的trade-off，以及离线/在线评估的完整流程思维。
2️⃣ 标准答
提高检出率的核心是扩大候选集并提升相关性排序，分三步走：
- Query改写与扩展：原始query常过于简短或歧义。用LLM生成同义改写（如“苹果”->“iPhone 15 评测”），或基于历史日志做query扩展（如“召回率低”->“检索系统召回率优化方法”）。工程取舍：改写会增加延迟（约50-100ms），需权衡是否只对低置信度query触发。
- 多路召回与混合检索：单一路径（如纯稠密检索）会漏掉高频词匹配。采用稀疏检索（BM25，默认k1=1.5,b=0.75） + 稠密检索（如bge-large-en-v1.5，768维） + 关键词匹配（如Elasticsearch的match_phrase）。实际落地的坑：多路结果分数不可直接比较，需归一化（如min-max或softmax）后加权融合，权重需在验证集上调参（如BM25:0.3, 稠密:0.5, 关键词:0.2）。
- 切片策略优化：固定长度切片（如256 tokens）会切碎语义。改用语义切片（基于句子边界或段落标题），或重叠切片（overlap=50 tokens）避免边界信息丢失。坑：重叠切片会显著增加索引大小（约1.5倍），需评估存储成本。
评价检出质量需区分离线与在线：
- 离线指标：核心是Recall@K（如Recall@5=0.85表示前5个结果覆盖85%相关文档）和MRR（平均倒数排名，衡量首个相关结果位置）。NDCG考虑排序位置和相关性分级（如0/1/2三级），对重排序敏感。注意：Recall@K需设定合理的K值（如K=10），避免K过大掩盖排序问题。
- 在线指标：用户点击率（CTR） 和任务完成率（如RAG中用户是否采纳检索结果）。坑：CTR可能受展示位置偏差影响，需用A/B测试控制变量（如50%流量用新检索策略）。
- 人工评估：设计相关性（1-5分，如“完全无关”到“完全相关”）和答案完整性（是否覆盖所有子问题）。工程取舍：人工成本高，建议只抽样100-200条，用LLM-as-Judge（如GPT-4打分）做初筛，人工复核争议样本。
总结：提高检出率靠多路召回+query改写+切片优化，评价质量靠Recall@K+MRR+人工评估，核心是平衡召回与精度。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，提高检出率靠query改写、多路召回（BM25+稠密检索）和语义切片优化；第二，评价质量用离线指标Recall@K和MRR，在线指标CTR和任务完成率，辅以人工评估；第三，核心trade-off是召回与精度的平衡，避免过度召回引入噪声。总结一句：多路融合+分层评估是标准解法。”
4️⃣ 高频追问 & 应对
追问 1：多路召回中，BM25和稠密检索分数怎么融合？如果冲突怎么办？
分数融合用归一化后加权求和，权重在验证集上调参（如网格搜索）。冲突时（如BM25排第1但稠密排第100），优先取稠密结果，因为稠密对语义匹配更鲁棒。也可用RRF（Reciprocal Rank Fusion），公式为score = Σ 1/(k + rank_i)，k=60是经验值，避免单一方法主导。
追问 2：Recall@K的K值怎么选？如果业务要求高召回但K太大怎么办？
K值取决于业务场景：问答系统通常K=5-10，文档检索K=20-50。如果K太大（如K=100），说明检索质量差，需优化召回而非调K。解法是引入级联检索：先用粗召回（K=100）再用重排序模型（如bge-reranker-v2-m3）压缩到K=10，平衡延迟和精度。
追问 3：人工评估中，LLM-as-Judge的准确率如何保证？
LLM-as-Judge有位置偏差和长度偏差。解法：用多轮投票（如3次打分取中位数），或对比评估（让LLM比较两个结果哪个更好，而非给绝对分数）。经验上，GPT-4与人工一致性约0.7-0.8（Spearman相关系数），需在业务数据上微调prompt。
5️⃣ 避坑 · 常见错误答法
- ❌ “提高检出率就是换更好的embedding模型，比如用text-embedding-3-large。” → ✅ “换模型只是手段之一，更关键的是多路召回和query改写，因为单一模型无法覆盖所有匹配模式（如高频词匹配）。实际落地中，BM25+稠密检索的组合往往比单用最强稠密模型Recall@10高5-10%。”
- ❌ “评价质量只看Recall@K就够了，K越大越好。” → ✅ “Recall@K需结合Precision@K看，避免K过大导致噪声多。业务上更关注MRR（首个相关结果位置）和NDCG（排序质量），因为用户通常只看前3个结果。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“我在XX项目中用BM25+稠密检索+query改写，Recall@5从0.7提升到0.85”切入，强调多路融合的调参经验。
- 如果你只做过传统NLP：用“文本分类中的特征工程类比检索中的多路召回，都是多源信息融合”迁移，再补充评估指标（如MRR）的数学定义。
- 如果你是校招无项目：聚焦“复现DPR论文时，用HotpotQA评估集计算Recall@20，并对比BM25基线”的demo，展示对评估完整流程的理解。
- “Karpathy的RAG教程：从BM25到稠密检索的工程实践”
- “RRF: Reciprocal Rank Fusion for Information Retrieval”
- “bge-reranker-v2-m3: 高效重排序模型的技术报告”
- “HotpotQA: A Dataset for Multi-hop Question Answering”
- “LLM-as-Judge: 用GPT-4评估检索质量的偏差分析”