一般你是如何选合适的embedding模型
1️⃣ 考察意图
面试官想看的不是“你用过哪个模型”，而是你是否有系统化的选型方法论。这道题属于工程取舍+系统设计混合型，刁钻点在于：很多人只会背MTEB榜单，但实际落地时，榜单第一的模型往往因延迟、成本或领域漂移而不可用。答好了能展示你对检索系统的整条链路理解（从数据到部署），以及在精度与效率之间做权衡的工程直觉。
2️⃣ 标准答
选embedding模型不是“挑个最好的”，而是在任务、数据、资源三个维度上做约束优化。我的流程分四步：
第一步：明确任务约束
- 任务类型：检索（需要高区分度） vs 聚类/分类（需要语义平滑）。检索场景下，我优先看MTEB的Retrieval子集，而不是总榜。
- 语言与领域：中文场景，BGE系列（bge-large-zh-v1.5）比OpenAI text-embedding-3-small在Recall@10上高5-8%【通用知识】；法律/医疗等垂直领域，必须用领域微调模型（如Legal-BERT的embedding）或自己微调。
- 维度与存储：高维（1024+）精度好但向量库索引慢，低维（256-512）适合亿级规模。例如，用HNSW索引时，维度每翻倍，构建时间增加约4倍。
第二步：用基准筛选候选模型
- 公开基准：MTEB（覆盖8类任务）和BEIR（专注检索）。我固定看NDCG@10和Recall@100，因为这两个指标直接反映检索质量。
- 候选池：通常选3-5个，例如：
- 通用型：text-embedding-3-small（1536维，性价比高）
- 开源强基：bge-large-en-v1.5（1024维，MTEB Retrieval平均62.1）
- 轻量型：gte-small（384维，推理速度快3倍）
- 注意：榜单分数差0.5%以内，实际部署差异可忽略，此时优先看延迟。
第三步：领域内小规模测试（最关键）
- 构建测试集：从真实数据中抽1000条query，每条配1个正例+10个难负例（用BM25初筛后人工标注）。
- 对比指标：Recall@10 + P99延迟（在CPU/GPU上分别测）。例如，一次法律文档检索选型中，bge-large的Recall@10比e5-mistral高3%，但延迟是后者的2.5倍（GPU上），最终选了e5-mistral。
- 坑：直接拿公开基准结果选模型，在垂直领域Recall可能掉15%以上。必须用自己的数据验证。
第四步：综合决策与部署优化
- 权衡矩阵：给精度、延迟、成本（API调用费或GPU租金）分别赋权。例如，线上QPS要求1000，则单次推理必须<1ms，此时只能选gte-small或text-embedding-3-small。
- 实际落地的坑：模型输出维度与向量库不匹配（如Milvus要求固定维度），或量化后精度骤降。解法：先做量化测试（FP16->INT8），如果Recall下降<2%，就用INT8。
- 进阶：如果预算允许，用多模型集成（如BM25+embedding+rerank），但注意延迟叠加。通常只对Top-100结果做rerank。
总结一句：先定任务和数据，再用基准缩小范围，最后用自己的数据+延迟测试做最终决策。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从四个层面回答：第一，明确任务约束，比如检索还是分类、中文还是英文、领域是否垂直；第二，用MTEB/BEIR基准筛选3-5个候选模型，重点看Retrieval子集的NDCG@10；第三，构建领域内小规模测试集，对比Recall@10和P99延迟，这一步最关键，因为公开基准在垂直领域可能失效；第四，做权衡矩阵，结合精度、延迟和成本选型，必要时做量化或集成。总结一句：选embedding模型是约束优化，不是榜单竞赛。”
4️⃣ 高频追问 & 应对
追问 1：如果领域数据很少（比如只有100条query），你怎么做测试？
用零样本迁移策略：先找公开的相似领域基准（如法律用LegalBench，医疗用BioASQ），看候选模型在该基准上的排名。然后，用100条query做人工标注，只测Recall@5（因为数据少，Recall@10可能不显著）。如果模型间差异<2%，选延迟最低的。最后，上线后通过A/B测试收集用户点击数据，迭代优化。
追问 2：你提到量化，具体怎么操作？精度损失多大？
常用FP16->INT8量化，用FAISS的IndexIVF或HNSW的量化接口。精度损失通常<2%，但取决于模型和领域。例如，bge-large在量化后，Recall@10从0.85降到0.83，但延迟从5ms降到1.2ms（CPU上）。注意：量化前必须做校准，用领域内数据跑一遍，否则损失可能到5%。如果损失>3%，改用混合精度（部分层FP16，部分INT8）。
追问 3：如果线上QPS很高（比如10000），但精度要求也高，怎么办？
用级联架构：第一级用轻量模型（如gte-small）做粗筛，召回Top-200；第二级用重模型（如bge-large）做精排，只对Top-200做推理。这样总延迟是：粗筛0.5ms + 精排200*5ms=1000ms，但可以通过并行化（多GPU）把精排延迟降到10ms。如果还不行，考虑知识蒸馏：用大模型（如text-embedding-3-large）蒸馏小模型（如gte-small），精度可提升3-5%，但需要额外训练成本。
5️⃣ 避坑 · 常见错误答法
- ❌ 直接说“我选MTEB排名第一的模型” → ✅ 先分析任务类型，因为MTEB总榜包含分类/聚类，检索子集排名可能不同；且榜单第一的模型可能太大，无法部署。
- ❌ 只谈精度不谈延迟和成本 → ✅ 必须给出权衡，例如“在Recall@10差1%以内，我选延迟最低的模型，因为线上QPS是硬约束”。
- ❌ 忽略领域适配，直接拿通用模型用 → ✅ 强调“用自己的数据做小规模测试”，并举例垂直领域Recall可能掉15%。
6️⃣ 简历呼应
- 如果你有RAG项目：从“构建领域测试集”切入，详细描述你如何用1000条query对比5个模型，最终选型并上线，Recall提升X%。
- 如果你只做过传统NLP：用“分类任务类比迁移”，说“embedding选型类似分类模型选型，都是先看基准，再调参，但检索多了延迟约束”，并举例你如何用BM25+embedding做混合检索。
- 如果你是校招无项目：聚焦“MTEB基准复现”，说“我复现了MTEB上5个模型的Retrieval子集，发现bge-large在中文场景比text-embedding-3-small高5%，并写了分析报告”，展示系统性思考。
- MTEB: Massive Text Embedding Benchmark（论文，2022）
- BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models（论文，2021）
- BGE: BAAI General Embedding（开源模型系列，2023）
- FAISS: A Library for Efficient Similarity Search（工具，2017）
- “How to Choose an Embedding Model for Your RAG Pipeline”（博客，2024，作者：Pinecone）