How to benchmark embedding models on your data
1️⃣ 考察意图
面试官想看你是否具备“从业务数据出发，科学选型”的工程思维，而非只会背MTEB榜单。核心考察三点：① 能否根据下游任务（检索/分类/聚类）定义正确的评估指标（Recall@k vs NDCG vs 准确率）；② 是否知道如何构建领域相关的query-doc相关性标注集（人工标注 vs 弱监督 vs 合成数据）；③ 能否识别并规避常见陷阱（如数据泄露、模型对领域术语的偏差）。刁钻点在于：MTEB上的高分模型在你的数据上可能表现极差，答好了能展示你从“调包侠”到“系统设计者”的跃迁。
2️⃣ 标准答
第一步：明确下游任务与指标
- 检索任务：用Recall@k（k=10/20）和MRR（Mean Reciprocal Rank）。Recall@k衡量“相关文档是否在前k个”，MRR关注第一个相关文档的排名。为什么不用NDCG？ NDCG需要多级相关性标注（如0/1/2），标注成本高；二值相关性（相关/不相关）下Recall+MRR更鲁棒。
- 分类/聚类任务：用准确率或NMI（归一化互信息）。此时embedding质量取决于类间分离度，而非排序能力。
- 实际坑：很多团队直接用余弦相似度阈值做分类，但未归一化embedding会导致阈值失效。解法：先对embedding做L2归一化，再计算余弦相似度。
第二步：构建领域数据集
- 人工标注：收集100-500条真实用户query，让领域专家标注top-3相关文档。成本高但质量最高。
- 弱监督：用点击日志（用户点击的文档视为正例）或“标题-正文”对（假设标题是query，正文是文档）。注意：点击日志有位置偏差，需用IPW（逆倾向加权）修正。
- 合成数据：用LLM（如GPT-4）生成query-doc对。例如，给一段文档，让LLM生成3个可能的用户query。坑：LLM生成的query往往过于直接，缺乏真实用户的模糊表达。解法：混合20%人工标注数据做校验集。
第三步：选择基准模型与评估流程
- 基线：必须包含BM25（BM25+默认k1=1.5, b=0.75）作为稀疏检索基线；稠密模型选BGE-base-en-v1.5（开源）、text-embedding-3-small（OpenAI）、E5-mistral-7b-instruct（强但贵）。
- 评估流程：
- 对每个query，用embedding模型编码，检索top-k文档（k=10）。
- 计算Recall@10和MRR，取所有query的平均值。
- 关键：做query和文档的“交叉验证”——用不同分块策略（chunk_size=256 vs 512）测试，因为chunk大小直接影响检索粒度。
- 实际落地的坑：embedding模型对长文档（>512 tokens）会截断，导致信息丢失。解法：用“滑动窗口+最大池化”策略，将长文档切分成多个chunk，取所有chunk embedding的均值作为文档表示。
第四步：分析结果与决策
- 对比维度：① 领域内 vs 通用查询（如电商中“红色连衣裙” vs “时尚单品”）；② 短查询 vs 长查询（<5词 vs >10词）；③ 计算成本（embedding维度、推理延迟）。
- 决策树：如果Recall@10差距<5%，选更便宜的模型（如BGE vs OpenAI）；如果长查询表现差，考虑用ColBERT的后期交互（late interaction）替代单向量模型。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，根据下游任务定义指标——检索用Recall@k+MRR，分类用准确率；第二，构建领域数据集——优先人工标注100条query，辅以LLM合成数据，注意用20%校验集过滤噪声；第三，选基线模型（BM25+BGE+OpenAI）跑流程，重点对比chunk大小和长查询表现。总结一句：不要迷信MTEB，用你自己的数据跑一遍，选性价比最高的模型。”
4️⃣ 高频追问 & 应对
追问 1：如果标注成本太高，怎么用无监督方法评估？
用“自一致性”指标：① 对同一文档生成多个chunk，计算chunk间embedding的相似度方差（方差越小，模型越稳定）；② 用“查询-文档”互信息：随机打乱query-doc对，看模型能否区分真实对和随机对（AUC>0.8说明有效）。注意：无监督指标只能做初筛，最终仍需少量标注数据验证。
追问 2：你的数据是中文电商，但所有模型都是英文预训练，怎么办？
先做领域微调（fine-tune）：用电商标题-描述对做对比学习（如SimCSE），batch_size=64，温度系数0.05。坑：微调后模型可能过拟合到高频词（如“包邮”），导致罕见词（如“雪纺”）检索变差。解法：保留10%原始通用数据做正则化。如果不想微调，用多语言模型（如BGE-m3）并做代码切换（code-switching）增强。
追问 3：你如何评估embedding模型的“鲁棒性”？
构造对抗样本：① 对query加拼写错误（如“连衣裙”->“连衣群”），看Recall下降幅度；② 对文档加无关段落（如插入广告），看模型是否仍能匹配。指标：用“鲁棒性衰减率”（Robustness Decay Rate）= (原始Recall - 对抗Recall) / 原始Recall，衰减率<10%为合格。
5️⃣ 避坑 · 常见错误答法
- ❌ “直接拿MTEB榜单选top-1模型，然后上线。” → ✅ “MTEB是通用基准，你的数据可能有领域偏差（如医疗术语、电商长尾词），必须用领域数据重新评估，否则Recall可能掉30%以上。”
- ❌ “用余弦相似度阈值0.8做检索，不考虑归一化。” → ✅ “不同模型的embedding范数差异大（BGE的L2范数约1.0，OpenAI的约0.5），必须先L2归一化再计算相似度，否则阈值不通用。”
- ❌ “只测Recall@10，不测MRR。” → ✅ “Recall@10只看是否命中，不关心排名；MRR能反映第一个相关文档的位置，对问答系统（用户只看第一个结果）更关键。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“实际业务中embedding模型选型踩坑”切入，比如“我们最初用ada-002，但长文档检索Recall@10只有0.6，换成BGE+滑动窗口后提升到0.85”。
- 如果你只做过传统NLP：用“文本分类的评估思路迁移”类比，比如“就像分类任务需要验证集，embedding评估也需要领域query-doc对，只是指标从准确率换成Recall”。
- 如果你是校招无项目：聚焦“复现MTEB评估流程”，比如“我复现了BEIR基准，用BM25+Contriever跑NQ数据集，发现Contriever在短查询上比BM25高15%，但长查询差10%”。
- BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
- MTEB: Massive Text Embedding Benchmark
- SimCSE: Simple Contrastive Learning of Sentence Embeddings
- ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
- BGE: BAAI General Embedding (开源模型系列)