What is speculative decoding, and when would you use it

1️⃣ 考察意图

面试官想考察你对 LLM 推理加速前沿技术的理解深度，而非简单背诵概念。这是典型的“系统设计 + 工程取舍”题，刁钻点在于：投机解码看似简单（草稿模型 + 验证），但实际落地时加速比受草稿模型质量、目标模型架构、批处理大小等多因素制约。答好了能展示你从算法原理到工程落地的整条链路思考，以及面对“加速 vs 质量 vs 成本”三角权衡时的决策能力。

2️⃣ 标准答

投机解码（Speculative Decoding）是一种无损加速 LLM 推理的技术，核心思想是“用一个小而快的草稿模型（Draft Model）生成多个候选 token，再由大目标模型（Target Model）并行验证，一次性接受多个 token，从而减少串行解码步骤”。

原理拆解：

草稿模型：通常是一个小模型（如 125M 参数的 GPT-2）或 n-gram 语言模型，速度比目标模型快 10-100 倍。它自回归生成 K 个候选 token（K 通常为 3-5）。
并行验证：目标模型将 K 个候选 token 作为前缀，一次前向传播计算每个位置的 logits，然后与草稿模型的分布做对比。如果目标模型在某个位置同意草稿模型的采样结果，则接受该 token；否则拒绝，并从目标模型重新采样。
接受率（Acceptance Rate）：关键指标，定义为被接受的 token 数占总候选数的比例。理想情况下，如果草稿模型完美匹配目标模型，接受率为 1，加速比可达 K 倍；实际中接受率通常在 0.5-0.8 之间。

工程取舍：

草稿模型选择：小模型（如 125M）速度快但分布偏差大，接受率低；稍大模型（如 1.5B）接受率高但推理开销增加。经验法则：草稿模型参数量为目标模型的 1/10 到 1/5，且训练时用目标模型的蒸馏数据对齐分布。
K 值选择：K 越大，单次验证收益越高，但一旦拒绝，浪费的计算量也越大。实际中 K 设为 3-5 最优，超过 10 后边际收益递减。
批处理大小：投机解码在低批处理（batch size=1）时效果显著，因为此时目标模型的计算利用率低；高批处理时，目标模型本身已接近饱和，投机解码的加速比会下降。

实际落地的坑 + 解法：

坑：草稿模型与目标模型分布不一致时，接受率骤降，甚至出现“负加速”（比直接解码还慢）。例如，用通用小模型对领域微调后的目标模型做投机解码，接受率可能低于 0.3。
解法：对草稿模型做领域适配微调（Domain-Adaptive Distillation），使用目标模型在领域数据上的输出作为软标签训练草稿模型，可将接受率提升至 0.7 以上。另一个技巧是动态调整 K：当接受率低时自动减小 K，避免浪费计算。

适用场景：

延迟敏感：如聊天机器人、实时翻译，需要首 token 延迟低且吞吐高。
目标模型极大：如 70B+ 参数模型，单次推理成本高，投机解码可减少 2-3 倍延迟。
草稿模型易获取：如已有小模型（GPT-2、TinyLLaMA）或可训练 n-gram 模型。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从原理、工程取舍、适用场景三个层面回答。原理上，投机解码用草稿模型生成候选 token，目标模型并行验证并接受匹配的 token，减少串行步骤。工程上，关键取舍是草稿模型大小与接受率的平衡，以及 K 值的动态调整。适用场景是延迟敏感且目标模型大的推理任务，如 70B 模型的实时对话。总结一句：投机解码是当前最实用的无损推理加速技术之一，但需要精心设计草稿模型和参数才能发挥效果。”

4️⃣ 高频追问 & 应对

追问 1：投机解码的加速比上限是多少？如何计算？

加速比上限由草稿模型速度（S_draft）和目标模型速度（S_target）以及接受率（α）决定。公式：加速比 ≈ 1 / (1/S_draft + (1-α)/S_target)。当 α=1 时，加速比 ≈ S_draft/S_target，即草稿模型比目标模型快多少倍。实际中，如果草稿模型快 10 倍、α=0.8，加速比约 3-4 倍。注意：这个公式假设验证步骤的批处理开销可忽略，但实际中需考虑 GPU 利用率。

追问 2：投机解码与 Medusa（多头投机解码）有什么区别？

Medusa 是投机解码的变体，它不依赖外部草稿模型，而是在目标模型最后一层添加多个“头”（heads），每个头预测未来不同位置的 token。优点是无需额外模型，但缺点是训练复杂（需要特殊损失函数），且接受率受限于头的数量。投机解码更灵活，草稿模型可独立优化，但增加部署复杂度。选择上：如果资源有限且目标模型可微调，用 Medusa；如果已有现成小模型，用投机解码。

追问 3：投机解码在批处理场景下效果如何？

批处理越大，效果越差。因为目标模型在批处理时计算利用率高，投机解码减少的串行步骤被批处理并行性抵消。例如，batch size=1 时加速比可达 2-3 倍，batch size=32 时可能只有 1.2 倍。因此，投机解码更适合在线推理（低批处理），而非离线批量生成。如果必须高批处理，可考虑结合连续批处理（Continuous Batching）技术。

5️⃣ 避坑 · 常见错误答法

❌ 说“投机解码可以无损加速任意模型，且加速比与草稿模型速度成正比” → ✅ 正确说法：投机解码的加速比受接受率、草稿模型速度、目标模型架构共同影响，且当草稿模型分布偏差大时可能负加速。
❌ 说“草稿模型越小越好，因为速度快” → ✅ 正确说法：草稿模型太小会导致接受率低，反而浪费计算；需在速度和接受率之间平衡，通常选择目标模型 1/10 参数量。
❌ 说“投机解码只适用于自回归模型” → ✅ 正确说法：投机解码也适用于非自回归模型（如 Masked LM），但验证逻辑需调整，因为非自回归模型一次生成所有 token，无法逐位置拒绝。

6️⃣ 简历呼应

如果你有推理加速项目：从“我在项目中用投机解码将 70B 模型延迟降低 2.5 倍”切入，详细说明草稿模型选择（如 TinyLLaMA）和 K 值调优过程，强调接受率从 0.5 提升到 0.75 的工程细节。
如果你只做过传统 NLP：用“投机解码类似于传统机器翻译中的‘束搜索剪枝’，都是用小模型快速生成候选，再大模型精排”类比，展示迁移能力。
如果你是校招无项目：聚焦论文复现，说“我复现了 Google 的《Fast Inference from Transformers via Speculative Decoding》论文，用 GPT-2 作为草稿模型对 LLaMA-7B 做投机解码，在 WikiText-2 上测得 2.3 倍加速，并分析了接受率与 K 值的关系”。
《Fast Inference from Transformers via Speculative Decoding》（Leviathan et al., 2023）
《Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads》（Cai et al., 2024）
《SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Tree-based Verification》（Miao et al., 2023）
《Blockwise Parallel Decoding for Deep Neural Networks》（Stern et al., 2018）
博客：Hugging Face 的“Speculative Decoding: How to Speed Up LLM Inference by 2-3x”

—— 本场面试完 ——