baseline 是否足够强
1️⃣ 考察意图
面试官真正想看的是你能否跳出“跑个模型就完事”的思维，从实验设计、公平对比和可复现性三个维度审视 baseline。这是典型的工程取舍 + debug 类型问题，刁钻点在于：候选人常把 baseline 当“及格线”，而面试官要的是你证明 baseline 是“当前最优的公平基准”。答好了能展示你对评估体系的理解深度、对论文复现坑的实战经验，以及避免“虚假提升”的硬核能力。
2️⃣ 标准答
核心原则：baseline 必须代表当前任务的最优实践，且对比条件完全公平。
1. 选择标准：三类 baseline 必须覆盖
- 当前最优方法（SOTA）：例如在开放域 QA 中，DPR + FiD 是强 baseline；在稠密检索中，Contriever 或 ColBERT-v2 是基准。不能只选 BM25 这种稀疏方法，除非任务明确是稀疏检索对比。
- 经典方法：BM25（默认 k1=1.5, b=0.75）作为稀疏检索基线，确保与稠密方法对比时，参数已调优（如通过 grid search 优化 k1 和 b）。
- 消融变体：例如去掉 reranker 或 chunking 策略的简化版，用于验证组件贡献。坑：很多论文只报告完整模型，忽略消融 baseline，导致无法判断提升来源。
2. 强度验证：必须经过充分调参
- 调参范围：对 BM25，k1 在 [0.5, 2.0] 步长 0.1，b 在 [0.3, 1.0] 步长 0.1；对 DPR，学习率 1e-5 到 5e-5，batch size 64 到 256。不调参的 baseline 是无效的，因为默认参数可能偏离最优 10-20% 的 Recall@100。
- 资源对齐：确保 baseline 和你的方法使用相同 GPU 型号、显存、训练步数。实际落地的坑：某团队用 8 卡 V100 训练 DPR，但 baseline 只跑 1 卡，导致收敛不足，最终“提升”其实是资源红利。
3. 实现准确性：检查关键组件是否遗漏
- 常见遗漏：DPR 的 hard negative 采样（使用 BM25 检索 top-100 作为负例）、ColBERT 的 late interaction 实现中 token 对齐的 padding 处理。解法：直接复用官方开源代码（如 HuggingFace DPR 实现），并验证输出指标与论文一致（例如 DPR 在 NQ 上的 Top-20 准确率应 >78%）。
- 数据泄露：确保训练/测试集切分与原始论文一致。坑：某论文用 MS MARCO 的 dev 集做测试，但 baseline 用了 dev 集做验证，导致指标虚高。
4. 公平对比：计算资源、数据量、评估指标必须一致
- 计算资源：如果 baseline 用 4 卡 A100 训练，你的方法用 8 卡，必须说明资源差异并做消融实验（例如用 4 卡复现 baseline）。
- 数据量：baseline 和你的方法使用相同训练数据量。工程取舍：如果 baseline 需要更多数据（如 DPR 需要 10 万+ 标注），而你的方法只需 1 万，则必须说明数据效率优势，而非直接对比指标。
- 评估指标：使用相同指标（如 Recall@100、MRR@10、NDCG@10），且确保计算方式一致（例如 Recall@100 是否包含重复文档）。
5. 常见陷阱：虚假提升的根源
- baseline 过弱：只选 BM25 而不选 DPR，导致“提升” 20% 但实际只是赶上 SOTA。解法：至少选 2 个强 baseline（如 BM25+RoBERTa 和 DPR），并报告相对提升百分比。
- 超参数过拟合：在测试集上反复调参 baseline，导致 baseline 指标虚高。解法：固定 baseline 参数后，只在验证集上调整你的方法。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，baseline 选择必须覆盖 SOTA、经典和消融三类，不能只选 BM25 这种弱基线；第二，强度验证要经过充分调参，比如 BM25 的 k1 和 b 需要 grid search，DPR 的学习率要调优；第三，公平对比要确保计算资源、数据量和评估指标完全一致，避免虚假提升。总结一句：baseline 足够强的标准是——它代表当前任务的最优实践，且对比条件无任何隐性优势。”
4️⃣ 高频追问 & 应对
追问 1：如果 baseline 是开源的，但复现后指标比论文低 5%，你怎么办？
首先检查实现差异：是否使用了相同的数据切分、预处理（如 tokenizer 版本）、评估脚本。常见原因是论文未公开超参数（如 DPR 的 hard negative 数量），此时通过 grid search 恢复。如果仍无法复现，在论文中明确标注“复现指标低于原论文 X%，可能原因是 Y”，并报告你的 baseline 版本。关键：不要隐瞒差异，否则审稿人会质疑所有对比。
追问 2：你的方法比 baseline 高 3%，但计算量是 2 倍，这算有效提升吗？
需要分场景：如果任务对延迟敏感（如实时搜索），3% 提升不值得 2 倍计算量；如果任务对精度要求极高（如法律文档检索），则值得。解法：报告效率指标（如 QPS、FLOPs），并做 Pareto 分析——展示在不同计算预算下的精度曲线。工程取舍：如果计算量增加但精度提升不显著，考虑用知识蒸馏或模型剪枝来缩小差距。
追问 3：如何证明你的提升不是来自随机种子或数据顺序？
做多次实验（至少 5 次不同种子），报告均值和标准差。如果标准差 >1%，说明结果不稳定，需要增加实验次数或调整训练策略。具体方法：使用固定种子（如 42）做一次，再用随机种子跑 5 次，确保你的方法在所有种子下都优于 baseline。坑：某些论文只报告一次结果，这不可信。
5️⃣ 避坑 · 常见错误答法
- ❌ “我选了 BM25 作为 baseline，然后我的方法提升了 15%。” → ✅ “我选了 BM25（调参后 Recall@100=85%）和 DPR（官方复现 Recall@100=92%）作为 baseline，我的方法在相同条件下达到 94%，相对提升 2.2%。”
- ❌ “baseline 用默认参数就行，因为论文里没写。” → ✅ “我通过 grid search 优化了 baseline 的超参数，并报告了最优值，确保对比公平。”
- ❌ “我的方法比 baseline 好，所以 baseline 不够强。” → ✅ “我通过消融实验验证了 baseline 的每个组件，并确认我的提升来自新模块，而非 baseline 过弱。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“对比公平性”切入，强调你如何选择 BM25+RoBERTa 和 DPR 作为 baseline，并调参至最优，最终证明你的 chunking 策略带来 3% 的 Recall 提升。
- 如果你只做过传统 NLP：用“分类任务”类比——baseline 不能只选 TF-IDF + SVM，而应选 BERT 微调，并确保学习率和 batch size 调优。强调你如何避免“虚假提升”。
- 如果你是校招无项目：聚焦“论文复现”经验——复现 DPR 时发现官方代码的 hard negative 采样有 bug，修复后指标提升 2%，说明你对 baseline 强度的敏感度。
- “An Empirical Study of Retrieval Augmented Generation” (2023) —— 分析 baseline 选择对 RAG 评估的影响
- “Dense Passage Retrieval for Open-Domain Question Answering” (Karpukhin et al., 2020) —— DPR 的官方实现和调参指南
- “The Power of Scale for Parameter-Efficient Prompt Tuning” (Lester et al., 2021) —— 讨论 baseline 对比中的资源公平性
- “Reproducibility in NLP: A Survey” (2022) —— 总结 baseline 复现的常见陷阱
- HuggingFace
evaluate库 —— 提供标准评估指标，确保对比一致性