相似度分数能不能直接当“正确率”看
1️⃣ 考察意图
面试官想看你是否理解相似度分数（如余弦相似度、内积）的统计本质，而非停留在“分数高就是相关”的直觉层面。这是典型的工程取舍+概念辨析题，刁钻点在于：候选人常把相似度分数等同于概率或置信度，忽略其未校准、分布偏移和不可跨模型比较的特性。答好了能展示你对检索系统可靠性的深度认知，包括校准方法（Platt scaling、温度缩放）和实际落地时如何设定阈值、避免误判。
2️⃣ 标准答
核心结论：不能。 相似度分数是向量空间中的方向一致性度量，不是概率，也不是正确率。下面从三个层面拆解。
1. 分数本质：相对排序工具，非绝对置信度
- 余弦相似度或内积只反映向量在嵌入空间中的夹角或距离，没有概率解释。例如，两个文档与查询的余弦相似度分别为0.8和0.7，只能说明前者“更接近”，但不能说“80%正确”。
- 不同嵌入模型（如text-embedding-ada-002 vs. BGE-large）输出的分数范围不同：ada-002通常落在[-1,1]，但实际分布可能集中在0.6-0.9；BGE-large可能输出0.2-0.8。跨模型比较分数毫无意义。
- 工程取舍：用分数做排序（top-k）是安全的，但设固定阈值（如>0.8才返回）会因数据分布偏移而失效。例如，在金融文档中，相似度分数普遍偏低（0.3-0.5），阈值0.8会漏掉所有结果。
2. 校准问题：分数不是概率
- 即使分数在0-1之间（如归一化后），它也不是正确概率。概率需要满足校准性：当模型说“80%正确”时，实际正确率应接近80%。但嵌入模型的相似度分数未经过校准，通常过度自信（高分段实际正确率低）或欠自信（低分段实际正确率高）。
- 实际落地的坑：在问答系统中，用相似度分数>0.9作为“高置信度”直接返回答案，结果发现大量误判——因为查询“苹果公司市值”和文档“苹果水果营养”的余弦相似度可能高达0.85（都含“苹果”），但完全不相关。
- 解法：使用Platt scaling（逻辑回归）或温度缩放（temperature scaling）对分数进行校准。具体做法：收集人工标注的查询-文档相关性对（正/负样本），用逻辑回归拟合分数到概率的映射。校准后，分数可解释为“相关概率”，但仍需在验证集上评估可靠性曲线（reliability curve）。
3. 替代方案：从排序到置信度
- 如果需要“正确率”式的置信度，不要依赖嵌入相似度，改用：
- Cross-encoder（如Cohere rerank、BGE-reranker）：直接计算查询-文档对的交互分数，输出更可靠的排序和置信度。但计算成本高（O(n) vs. O(1)），适合rerank阶段。
- 学习排序模型（LambdaRank、ListNet）：在相似度分数基础上，用人工标注训练排序模型，输出排序得分，但同样需校准。
- 混合检索+校准：结合BM25（稀疏检索）和嵌入相似度（稠密检索），用加权融合（如RRF或线性加权），再对融合分数做校准。例如，在MS MARCO数据集上，BM25+DPR的融合分数经Platt scaling后，AUC提升5-10%。
总结：相似度分数只能用于相对排序，不能直接当正确率。要获得概率解释，必须经过校准，或改用Cross-encoder等交互式模型。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，相似度分数本质是向量方向一致性度量，不是概率，只能用于排序，不能设固定阈值；第二，分数未经过校准，分布偏移导致跨模型、跨任务不可比，需要用Platt scaling或温度缩放校准；第三，如果需要置信度，建议用Cross-encoder或学习排序模型替代。总结一句：相似度分数是排序工具，不是正确率。”
4️⃣ 高频追问 & 应对
追问 1：你说分数不能当正确率，那在RAG系统中，怎么决定哪些结果要返回给用户？
用动态阈值或top-k截断，而不是固定分数阈值。具体做法：在验证集上，对每个查询取top-k结果（如k=5），然后计算这些结果的分数分布，用百分位数（如取第80百分位）作为动态阈值。或者用MMR（最大边际相关性） 去重后，只返回分数高于平均分的文档。更鲁棒的方法：训练一个轻量级分类器（如逻辑回归），输入相似度分数+BM25分数+文档长度等特征，输出“是否相关”的二分类概率，再设阈值。
追问 2：如果必须用相似度分数做阈值，怎么选？
在验证集上做网格搜索，用F1分数或NDCG@k作为指标。注意：分数分布会随查询类型变化（如事实型查询分数高，主观型查询分数低），所以最好按查询聚类（如用K-means对查询embedding聚类），为每个簇单独设阈值。坑：验证集必须覆盖生产环境的查询分布，否则阈值会失效。例如，在电商搜索中，品牌查询（“Nike鞋”）分数高，长尾查询（“红色防水登山鞋”）分数低，统一阈值会导致长尾结果被过滤。
追问 3：校准后的分数能直接当概率用吗？
不能完全等同。校准只保证边际校准（marginal calibration），即所有预测为0.8的样本中，实际正确率约80%，但不保证个体校准（individual calibration）。例如，某个查询-文档对校准后分数0.8，但实际可能因为语义歧义（如“苹果”指公司还是水果）而完全错误。所以校准分数更适合做排序或风险控制（如只返回分数>0.9的结果），但不能替代人工审核。
5️⃣ 避坑 · 常见错误答法
- ❌ “相似度分数越高，文档越相关，可以当正确率用。” → ✅ “分数高只表示向量方向更一致，但可能因语义歧义（如‘苹果’）或嵌入模型偏差（如对高频词过度敏感）导致误判，必须结合校准或排序模型。”
- ❌ “我用余弦相似度0.9作为阈值，效果很好。” → ✅ “阈值依赖数据分布，换一个数据集或嵌入模型就失效。正确做法是在验证集上动态调整，或使用top-k截断。”
- ❌ “Cross-encoder分数可以直接当正确率。” → ✅ “Cross-encoder分数同样未校准，只是排序更准。要当概率用，仍需校准（如温度缩放），且计算成本高，不适合在线检索。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“我在项目中用相似度分数做排序，但发现阈值不稳定，后来用Platt scaling校准，可靠性曲线从0.6提升到0.85”切入，展示对校准的实战理解。
- 如果你只做过传统NLP：类比“文本分类中softmax输出未校准，相似度分数同理”，然后迁移到检索场景，强调校准方法（温度缩放）的通用性。
- 如果你是校招无项目：聚焦论文复现，如“我复现了MS MARCO上的DPR检索，发现相似度分数分布偏移，用逻辑回归校准后NDCG@10提升3%”，展示对细节的掌握。
- Guo et al., “On Calibration of Modern Neural Networks” (ICML 2017) — 温度缩放校准方法
- Thakur et al., “BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models” — 检索模型分数分布分析
- Nogueira & Cho, “Passage Re-ranking with BERT” — Cross-encoder rerank 原理
- Platt, “Probabilistic Outputs for Support Vector Machines” — Platt scaling 原始论文
- 博客：”How to Calibrate Your Embedding Model’s Similarity Scores” (Towards Data Science) — 实战校准代码示例