做了哪些对比实验？baseline选择的依据是什么

1️⃣ 考察意图

面试官想看你是否具备系统实验设计的硬实力，而非简单罗列模型。考察类型是工程取舍 + 系统设计。刁钻点在于：他们不只听你做了什么，更听你为什么选这个 baseline、如何控制变量、结果能否复现。答好了能展示：你对领域 SOTA 的敏感度、对实验严谨性的把控、以及从结果反推模型缺陷的洞察力。这直接对应一线大厂对“可落地、可迭代”工程师的要求。

2️⃣ 标准答

我的实验设计分三层：对比实验、baseline 选择、结果分析。以文本分类任务（如 GLUE 的 RTE 子集）为例，具体如下：

对比实验列表：
模型对比：BERT-base、RoBERTa-base、ALBERT-base、DeBERTa-v3-base。每个模型在相同数据划分（8:1:1）和评估指标（Accuracy + F1）下运行 3 次取均值。
设置对比：固定学习率 2e-5、batch size 32、max length 128。使用 AdamW 优化器，warmup 比例 0.1。所有模型训练 5 个 epoch，早停 patience=3。
消融实验：对最佳模型（DeBERTa-v3）移除相对位置编码（改用绝对位置）、移除对抗训练（FreeLB），观察性能下降幅度。
数据影响：对比原始数据 vs. 数据增强（EDA: 同义词替换 + 随机插入）后的效果。
Baseline 选择依据：
领域公认强基线：BERT-base 是 NLP 领域事实上的“最小公分母”，几乎所有论文都报告其性能，便于横向对比。RoBERTa-base 通过动态 Mask 和更大 batch 证明了 BERT 的改进空间，是“更优的基线”。选择它们而非 GPT-2 或 T5，因为任务类型（分类）与预训练目标（MLM）更匹配。
工程取舍：不选 XLNet 或 ELECTRA，因为它们的训练成本高（XLNet 的排列语言模型需要 2 倍显存），且在小数据集（RTE 约 2.5k 样本）上优势不显著。这体现了成本-收益权衡：baseline 应覆盖“最典型”和“最先进”两个极端，而非所有模型。
实际落地的坑：最初我选了 BERT-large 作为强基线，但发现训练时间过长（单卡 8 小时 vs. base 的 1 小时），且性能提升仅 0.5%。因此，我改用 DeBERTa-v3-base，它用解耦注意力机制在相同参数量下达到接近 large 的效果，更符合“高效对比”原则。
结果分析：
表格展示：BERT-base: 72.3% Acc / 71.8% F1；RoBERTa-base: 73.1% / 72.5%；ALBERT-base: 71.5% / 70.9%（参数共享导致容量下降）；DeBERTa-v3-base: 74.2% / 73.6%。
差异解释：DeBERTa-v3 的胜出源于其解耦注意力（将位置和内容分开计算），这在小样本任务中能更好捕捉细粒度关系。ALBERT 的下降则是因为参数共享减少了模型容量，对 RTE 这种需要逻辑推理的任务不利。
消融结果：移除相对位置编码后，Acc 下降 1.8%；移除 FreeLB 后下降 0.9%。说明位置编码是关键组件，对抗训练是锦上添花。
数据增强：EDA 提升 0.3% Acc，但引入 10% 噪声（如同义词替换错误），因此仅在小数据集上推荐。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，对比实验包括模型对比（BERT、RoBERTa、DeBERTa）、设置对比（固定超参）、消融实验（位置编码、对抗训练）和数据影响。第二，baseline 选择依据是领域公认强基线（BERT）和成本-收益权衡（不选 XLNet 因训练成本高）。第三，结果分析用表格展示，并解释差异原因，如 DeBERTa 的解耦注意力在小样本上更优。总结一句：实验设计要兼顾严谨性和可复现性，baseline 选最典型和最先进的组合。”

4️⃣ 高频追问 & 应对

追问 1：你如何确保实验的可复现性？如果别人用不同随机种子得到不同结果怎么办？

应对策略：固定所有随机种子（Python、NumPy、PyTorch 的 seed 为 42），并记录 CUDA 确定性标志（torch.backends.cudnn.deterministic=True）。但即使如此，GPU 浮点运算的非确定性仍会导致微小差异。因此，我报告 3 次运行均值和标准差（如 74.2% ± 0.3%），并强调相对趋势（如 DeBERTa 比 BERT 高 1.9%）比绝对数值更重要。如果差异超过 1%，我会检查数据划分是否一致（使用固定 shuffle 索引）或模型初始化是否相同（加载预训练权重而非随机）。

追问 2：你的 baseline 中为什么没有包括 GPT 系列？它们不是更强吗？

应对策略：GPT 系列（如 GPT-3）是自回归模型，擅长生成而非分类。在 GLUE 分类任务上，GPT-3 的 zero-shot 性能（约 70% Acc）远低于微调后的 BERT（约 85%）。更重要的是，GPT-3 的 API 调用成本高（每次推理约 $0.01），且无法微调（除非用 GPT-3.5 的 fine-tuning，但成本翻倍）。因此，从任务匹配度和工程成本角度，GPT 不是合适的 baseline。如果面试官坚持，我会补充：在生成任务（如摘要）上，我会选 GPT-2 或 T5 作为 baseline。

追问 3：你的消融实验只做了移除组件，为什么不做添加组件（如加 CRF 层）？

应对策略：消融实验的目的是验证组件必要性，而非探索最佳组合。移除组件能直接回答“这个组件是否冗余”，而添加组件会引入新变量（如 CRF 层的训练难度），导致结果难以归因。例如，移除位置编码后性能下降 1.8%，说明它是关键；但添加 CRF 可能提升 0.5%，也可能因过拟合下降，这属于超参搜索范畴。我会在后续的超参优化阶段做添加实验，但消融阶段只做减法，保持因果清晰。

5️⃣ 避坑 · 常见错误答法

❌ “我选了 BERT、RoBERTa、XLNet 作为 baseline，因为它们都是主流模型。” → ✅ “我选 BERT 作为最小公分母，RoBERTa 作为改进基线，DeBERTa 作为 SOTA 候选。不选 XLNet 是因为其训练成本高且在小数据集上优势不显著，这体现了成本-收益权衡。”
❌ “实验结果：BERT 72%，RoBERTa 73%，所以 RoBERTa 更好。” → ✅ “结果：BERT 72.3% ± 0.2%，RoBERTa 73.1% ± 0.3%，差异 0.8% 在统计显著范围内（p<0.05）。差异原因：RoBERTa 的动态 Mask 和更大 batch 提升了泛化性，但 ALBERT 的参数共享导致容量下降。”
❌ “我做了消融实验，移除了 attention 层，性能下降很多。” → ✅ “消融实验：移除 DeBERTa 的相对位置编码后 Acc 下降 1.8%，说明位置编码是关键；移除 FreeLB 后下降 0.9%，说明对抗训练是锦上添花。这验证了论文中‘解耦注意力’的核心贡献。”

6️⃣ 简历呼应

如果你有 RAG 项目：从“检索-生成”对比切入。例如，对比 BM25 + BERT 与 DPR + T5，baseline 选 BM25（经典）和 DPR（SOTA），并分析检索召回率对生成质量的影响。强调你如何控制 chunk size 和 top-k 等变量。
如果你只做过传统 NLP：用“分类任务”类比迁移。例如，对比 TF-IDF + SVM 与 BERT，baseline 选 TF-IDF（传统强基线）和 BERT（深度学习基线），并分析特征工程 vs. 端到端学习的 trade-off。展示你对统计显著性的理解。
如果你是校招无项目：聚焦论文复现 demo。例如，在 SQuAD 2.0 上复现 BERT-base 和 RoBERTa-base，baseline 选官方报告值（EM 80.0% / F1 87.4%），并分析预训练目标（MLM vs. 动态 MLM）对结果的影响。强调你如何用固定种子和 3 次运行确保可复现性。
《Attention is All You Need》 - Transformer 基础，理解位置编码设计。
《RoBERTa: A Robustly Optimized BERT Pretraining Approach》 - 动态 Mask 和更大 batch 的改进。
《DeBERTa: Decoding-enhanced BERT with Disentangled Attention》 - 解耦注意力机制详解。
《FreeLB: Enhanced Adversarial Training for Natural Language Understanding》 - 对抗训练在 NLP 中的应用。
《GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding》 - 标准评估框架。

—— 本场面试完 ——