Embedding模型选择（如何确定业务最适合的模型？）
1️⃣ 考察意图
面试官想看的不是“你用过哪些Embedding模型”，而是你是否具备系统化的模型选型方法论。这属于系统设计+工程取舍类问题，刁钻点在于：多数候选人只会报模型名字（如“用bge-large”），但说不出为什么选它、怎么验证它、以及线上和离线效果不一致时如何排查。答好了能展示你从业务需求→候选筛选→离线评估→在线验证的完整完整流程能力，以及你对Embedding模型本质（语义空间对齐）的理解深度。
2️⃣ 标准答
选Embedding模型不是“挑最火的”，而是用实验和数据说话。分四步走：
第一步：明确业务约束
- 领域：通用（如OpenAI ada-002）vs 垂直（如法律用LawBERT、医疗用PubMedBERT）。垂直领域通用模型Recall@20可能比专用模型低15-20%。
- 语言：中文首选bge-large-zh或m3e-base，英文用e5-mistral或text-embedding-3-small。多语言场景（如跨境电商）用multilingual-e5-large。
- 任务类型：检索（需要高Recall@K）vs 聚类（需要高轮廓系数）vs 分类（需要高准确率）。检索场景下，Recall@5比余弦相似度绝对值更重要。
第二步：候选模型筛选
- 主流模型池：OpenAI ada-002（1536维，通用但贵）、bge-large-zh（1024维，中文SOTA）、e5-mistral（4096维，英文长文本）、m3e-base（768维，轻量中文）、Cohere embed-english-v3.0（多粒度）。
- 筛选原则：排除维度>2048的模型（如e5-mistral）如果业务要求低延迟（<50ms），因为高维向量检索内存和计算成本翻倍。Trade-off：高维模型精度高，但HNSW索引构建时间随维度线性增长，且内存占用是低维模型的4倍。
第三步：构建评估数据集
- 正负样本对：从业务日志中采样1000条query-doc对，正样本用用户点击或专家标注，负样本用BM25检索出的top-10但无关的文档（hard negative）。坑：只用随机负样本会导致模型区分度虚高，必须加入hard negative。
- 标注成本：如果无标注数据，用“LLM as Judge”自动生成：让GPT-4对query和候选doc打分（1-5分），取4-5分为正样本，1-2分为负样本。但需抽样50条人工校验，防止LLM偏见。
第四步：离线评估
- 核心指标：Recall@K（K=5/10/20）、MRR（关注第一个正确结果位置）、NDCG@10（考虑排序质量）。具体做法：用每个模型对1000条query生成embedding，在向量库中检索top-20，计算指标。
- 实验设计：固定chunk_size=512、overlap=128，控制变量。实际落地的坑：不同模型对文本长度敏感，比如bge-large-zh在短文本（<100字）上Recall@10比ada-002高8%，但在长文本（>1000字）上反而低5%。解法：对长文本做分段embedding后取平均。
第五步：在线A/B测试
- 最终指标：RAG系统的答案准确率（通过GPT-4评估或人工打分）、用户满意度（点击率/停留时长）。
- 案例：某电商客服RAG，离线Recall@5上bge-large-zh比ada-002高12%，但线上答案准确率只高3%。排查发现：bge-large-zh对同义词（如“退款”vs“退货”）区分度差，导致检索结果虽相关但答案生成错误。解法：在检索后加一个轻量reranker（如bge-reranker-v2-m3），将答案准确率提升7%。
总结一句：选型是“业务约束→候选池→评估集→离线指标→在线验证”的完整流程，核心是用数据替代直觉。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从四个层面回答：第一，明确业务约束，包括领域、语言和任务类型，比如电商客服RAG需要中文+高Recall。第二，筛选候选模型，比如bge-large-zh和ada-002，排除高维模型如果延迟敏感。第三，构建评估数据集，用业务日志采样正负样本对，必须加入hard negative。第四，离线算Recall@K和MRR，线上A/B测试看答案准确率。总结一句：选型不是挑模型，而是用实验和数据验证业务适配度。”
4️⃣ 高频追问 & 应对
追问 1：如果离线指标好但线上效果差，怎么排查？
先检查数据分布偏移：离线评估集是否来自历史数据，而线上query分布变了？比如电商大促期间query变短（“手机”vs“华为P60价格”），导致模型对短文本embedding效果差。解法：用线上日志采样新评估集重新跑离线。其次检查chunk策略：离线用固定chunk_size=512，但线上文档长度不均，导致长文档被截断丢失关键信息。最后加reranker：离线只测检索，线上需要生成，reranker能过滤掉语义相似但答案错误的文档。
追问 2：预算有限，怎么在模型精度和成本之间取舍？
优先用开源模型（bge-small-zh，384维）替代商业模型（ada-002），成本降低90%，Recall@5可能只降5-8%。如果必须用商业模型，用“蒸馏+量化”：用ada-002生成teacher embedding，训练一个轻量student模型（如m3e-base），精度损失<3%。另外，向量库用IVF_FLAT替代HNSW，索引构建时间从2小时降到10分钟，但Recall@10降2%，适合冷启动阶段。
追问 3：多语言场景下，怎么选Embedding模型？
首选multilingual-e5-large，它在跨语言检索上比单语言模型（如bge-large-zh+英文模型拼接）Recall@10高15%。但注意：它需要输入“query: ”和“passage: ”前缀，否则效果下降。如果业务只有中英双语，用“双语对齐”方案：分别用bge-large-zh和text-embedding-3-small生成embedding，然后训练一个线性映射层对齐到同一空间，成本低且可控。
5️⃣ 避坑 · 常见错误答法
- ❌ “直接选最新的模型，比如text-embedding-3-large，因为OpenAI最强” → ✅ “先看业务需求，比如中文垂直领域，最新模型可能不如bge-large-zh，而且成本高10倍，必须用离线指标验证。”
- ❌ “用余弦相似度阈值0.8来判定相关性” → ✅ “阈值依赖数据分布，不同模型输出空间不同，比如bge-large-zh的余弦相似度分布集中在0.6-0.9，而ada-002在0.7-0.95。正确做法是用Recall@K等排序指标，而不是固定阈值。”
- ❌ “只测一个指标，比如Recall@10” → ✅ “必须组合指标：Recall@K看召回率，MRR看第一个正确结果位置，NDCG看排序质量。单指标可能掩盖问题，比如Recall@10高但MRR低，说明正确结果排在后面。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“离线评估和线上A/B测试的差异”切入，比如“我在电商客服RAG中，发现bge-large-zh离线Recall@5比ada-002高12%，但线上答案准确率只高3%，最后通过加reranker解决。”
- 如果你只做过传统NLP：用“文本分类中的模型选型”类比，比如“就像选分类模型要看F1-score，Embedding选型要看Recall@K，核心都是构建验证集和实验设计。”
- 如果你是校招无项目：聚焦“论文复现demo”，比如“我复现了MTEB benchmark，对比了bge-large-zh和m3e-base在中文检索上的Recall@10，发现bge在短文本上优势明显，并分析了原因（训练数据包含更多中文query-doc对）。”
- MTEB: Massive Text Embedding Benchmark（评估框架，含56个数据集）
- BGE: BAAI General Embedding（技术报告，含训练细节和hard negative策略）
- “How to Choose an Embedding Model for Your RAG System”（博客，含A/B测试案例）
- Cohere’s Embedding Models: A Practical Guide（官方文档，含多语言和多粒度方案）
- “Efficient Estimation of Word Representations in Vector Space”（原始Word2Vec论文，理解embedding本质）