为什么今天的大多数 LLM 都是 Decoder-only
1️⃣ 考察意图
面试官想考察你对 Transformer 架构设计取舍的深度理解，而非简单背诵“Decoder-only 更流行”。这是典型的工程取舍 + 实验验证型问题。刁钻点在于：候选人常只提“因果注意力”或“GPT 成功”，却忽略 Encoder-Decoder 在理解任务上的理论优势，以及 Decoder-only 在 Scaling Law 下的实证胜利。答好了能展示：对三种架构（Encoder-Decoder、Encoder-only、Decoder-only）的优劣势有清晰认知，能从计算效率、训练一致性、扩展性三个维度给出具体 trade-off，并能引用关键论文（如《Scaling Laws for Neural Language Models》）作为证据。
2️⃣ 标准答
这个问题可以从三个层面拆解：架构对比、工程效率、Scaling Law 实证。
架构对比：为什么 Encoder-Decoder 被淘汰？
- Encoder-Decoder（如 T5）：Encoder 用双向注意力，Decoder 用因果注意力。理论上，双向注意力能更好地理解上下文，适合翻译、摘要等“理解+生成”任务。但问题在于：
- 训练-推理不一致：训练时 Encoder 看到完整输入，推理时却要逐步生成，导致曝光偏差（exposure bias）。
- 参数量浪费：Encoder 和 Decoder 各自有独立参数，相同总参数量下，Decoder-only 模型能分配更多参数给生成部分。
- Encoder-only（如 BERT）：双向注意力适合分类、NER 等理解任务，但无法自回归生成。要生成文本，必须额外加解码器或使用 MLM 策略，效率低且不自然。
- Decoder-only（如 GPT）：因果注意力（causal attention）保证每个 token 只看到过去，天然适配自回归生成。训练时 teacher forcing，推理时自回归，训练-推理完全一致，没有曝光偏差问题。
工程效率：推理加速的关键
- KV Cache：Decoder-only 的因果注意力允许在推理时缓存 Key 和 Value 矩阵。生成第 N+1 个 token 时，只需计算新 token 的 Query 与缓存的 KV 做注意力，复杂度从 O(N²) 降到 O(N)。而 Encoder-Decoder 的 Encoder 部分无法缓存（每次输入不同），每次生成都要重新计算 Encoder 输出，推理吞吐量低 2-3 倍。
- FlashAttention：Decoder-only 的因果注意力天然适配 FlashAttention 的 tiling 策略，能利用 GPU 的 SRAM 高效计算，减少显存占用。Encoder-Decoder 的双向注意力需要更复杂的 mask 处理，优化难度更高。
- 实际落地的坑：KV Cache 在长上下文（如 128K tokens）下会爆显存。解法是使用 Multi-Query Attention (MQA) 或 Grouped-Query Attention (GQA)，将 KV 头数减少到 1 或 4，显存占用降低 50% 以上，且精度损失可忽略。
Scaling Law 实证：为什么 GPT 赢了？
- 《Scaling Laws for Neural Language Models》 证明：在相同计算预算下，Decoder-only 的 loss 下降曲线比 Encoder-Decoder 更陡。原因是 Decoder-only 的参数量全部用于生成，而 Encoder-Decoder 有部分参数用于理解，在纯生成任务上效率更低。
- GPT 系列的成功：从 GPT-1 到 GPT-4，Decoder-only 的扩展性被反复验证。OpenAI 的消融实验显示：在 1B 参数规模下，Decoder-only 的困惑度比同等参数的 T5 低 5-10%，且训练速度更快（无需 Encoder 的前向传播）。
- 工程取舍：Decoder-only 在理解任务（如分类）上不如 Encoder-only，但 LLM 的核心是生成。通过 instruction tuning 和 RLHF，Decoder-only 模型能学会理解指令，弥补了架构的先天不足。这是“用数据换架构”的典型 trade-off。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从架构对比、工程效率、Scaling Law 实证三个层面回答。架构上，Decoder-only 的因果注意力保证了训练-推理一致性，避免了 Encoder-Decoder 的曝光偏差；工程上，KV Cache 和 FlashAttention 让推理速度提升 2-3 倍；实证上，GPT 系列和 Scaling Law 论文证明 Decoder-only 在相同计算预算下 loss 更低。总结一句：Decoder-only 是生成任务需求、工程优化和实验验证共同作用下的最优解。”
4️⃣ 高频追问 & 应对
追问 1：那为什么早期的 BERT 是 Encoder-only，而 GPT 是 Decoder-only？现在还有人在用 Encoder-Decoder 吗？
早期（2018-2019）任务以理解为主，BERT 在 GLUE 上碾压 GPT-1，所以 Encoder-only 是主流。但 GPT-2 展示出 zero-shot 能力后，生成任务成为焦点。现在 Encoder-Decoder 仍有应用，比如 Google 的 PaLM 2 在翻译任务上保留 Encoder，但主流趋势是 Decoder-only。关键取舍：如果你需要强理解+生成（如翻译），Encoder-Decoder 仍有优势；但纯生成任务（如对话、代码生成），Decoder-only 更优。
追问 2：Decoder-only 的因果注意力会不会限制模型理解长距离依赖？比如“The dog that chased the cat that ate the mouse ran away”这种句子。
会，但这是 trade-off。因果注意力只能看到过去，无法像双向注意力那样同时看到“ran away”和“dog”。但实践中，通过层数堆叠（如 70B 模型有 80 层）和位置编码优化（如 RoPE 或 ALiBi），模型能隐式捕捉长距离依赖。而且，Scaling Law 表明：模型越大，因果注意力的表达能力越强，最终 loss 会收敛到与双向注意力相近的水平。如果任务需要强双向理解（如 NER），可以用 Encoder-only 或 Encoder-Decoder。
追问 3：如果我要训练一个 1B 参数的模型，Decoder-only 和 Encoder-Decoder 在训练成本上差多少？
假设相同总参数量（1B），Decoder-only 的训练 FLOPs 约为 Encoder-Decoder 的 70-80%。因为 Encoder-Decoder 需要两次前向传播（Encoder 一次，Decoder 一次），而 Decoder-only 只需一次。具体数字：在 256 张 A100 上训练 1T tokens，Decoder-only 约需 3 天，Encoder-Decoder 约需 4 天。但注意：Encoder-Decoder 在理解任务上可能收敛更快，所以最终选择取决于你的任务分布。
5️⃣ 避坑 · 常见错误答法
- ❌ “Decoder-only 就是比 Encoder-Decoder 好，因为 GPT 成功了。” → ✅ “Decoder-only 在生成任务上优势明显，但 Encoder-Decoder 在理解+生成任务（如翻译）上仍有理论优势。GPT 的成功是 Scaling Law 和工程优化共同作用的结果，不是架构的绝对胜利。”
- ❌ “因果注意力比双向注意力更高效，所以 Decoder-only 更好。” → ✅ “因果注意力在推理时可以通过 KV Cache 加速，但训练时双向注意力的并行度更高（可以一次看到所有 token）。Decoder-only 的推理优势是工程优化（KV Cache）的结果，而非注意力机制本身的效率。”
- ❌ “所有 LLM 都是 Decoder-only。” → ✅ “目前主流 LLM（GPT-4、Llama 3、Claude 3）确实是 Decoder-only，但 Google 的 Gemini 和 PaLM 2 仍保留 Encoder-Decoder 架构。此外，T5 在特定任务（如翻译）上仍有竞争力。不能说‘所有’，只能说‘大多数’。”
6️⃣ 简历呼应
- 如果你有 LLM 预训练项目：从“训练-推理一致性”切入，说明你在项目中如何通过 Decoder-only 架构减少曝光偏差，并给出困惑度对比数据（如比 T5 低 3%）。
- 如果你只做过传统 NLP（如 BERT 微调）：用“理解 vs 生成”类比迁移，说明你理解为什么 BERT 适合分类而 GPT 适合生成，并提到你读过《Scaling Laws》论文。
- 如果你是校招无项目：聚焦“KV Cache 和 FlashAttention”的论文复现，展示你对工程优化的理解。可以提你实现过一个简易 Decoder-only 模型，在 C4 数据集上对比了推理吞吐量。
- 《Scaling Laws for Neural Language Models》（Kaplan et al., 2020）
- 《Efficient Transformers: A Survey》（Tay et al., 2022）——对比各种注意力变体
- 《FlashAttention: Fast and Memory-Efficient Exact Attention》（Dao et al., 2022）
- 《PaLM: Scaling Language Modeling with Pathways》（Chowdhery et al., 2022）——Google 的 Encoder-Decoder 实践
- 《Llama 2: Open Foundation and Fine-Tuned Chat Models》（Touvron et al., 2023）——Decoder-only 的工业级实现