When is a deterministic strategy (like Beam Search) preferable to a stochastic (sampling) strategy
1️⃣ 考察意图
面试官想看的不是你会背“Beam Search 和 Top-k 的区别”，而是你能否根据任务目标、用户预期、输出质量要求，在工程落地中做出有依据的解码策略选择。这是典型的工程取舍类问题，刁钻点在于：很多候选人只记得“确定性=可重复，随机=多样性”，但说不清具体在什么场景下，确定性策略的收益能覆盖其多样性损失。答好了能展示你对生成质量可控性、推理效率、以及业务指标（如ROUGE、BLEU、人工评估）之间权衡的深刻理解。
2️⃣ 标准答
解码策略选择的核心原则：确定性策略（Beam Search）用于“答案唯一且正确”的任务，随机策略（Sampling）用于“答案多样且有趣”的任务。
1. 确定性策略（Beam Search）的适用场景
- 高准确率任务：机器翻译、文本摘要、代码生成。这些任务有明确的“标准答案”或“最优解”，输出必须精确、可重复。Beam Search 通过维护
beam_size个候选路径，在每一步选择联合概率最高的序列，能有效避免低概率词导致的语义漂移。 - 可重复性要求：金融报告生成、法律文书起草。用户期望每次输入相同 prompt 得到相同输出，用于审计或复现。Beam Search 是纯贪心的确定性过程，输入固定则输出固定。
- 长文本生成：Beam Search 的
length_penalty（如alpha=0.6）可以缓解其倾向于短句的 bias，在摘要任务中比采样更稳定。
2. 随机策略（Sampling）的适用场景
- 多样性任务：故事创作、对话生成、广告文案。用户期望每次得到不同结果，采样（Top-k=50, Top-p=0.9）能引入随机性，避免 Beam Search 常见的“重复循环”问题。
- 创造性任务：诗歌、歌词、营销 slogan。需要跳出高概率词的“安全区”，探索低概率但新颖的组合。Temperature 调高（如
t=0.8）可以软化概率分布，增加多样性。
3. 工程取舍与落地坑
- 坑1：Beam Search 的重复问题。在长文本生成中，Beam Search 容易陷入“重复 n-gram”的死循环（如“I love you love you love you...”）。解法：引入
no_repeat_ngram_size=3或repetition_penalty=1.2，在 beam 搜索中动态惩罚已出现过的 n-gram。 - 坑2：采样策略的不稳定性。Top-p 采样在
p=0.9时，如果模型对某个 token 的置信度极高（如 99%），采样会退化为 greedy，失去多样性。解法：结合temperature先软化分布，再采样；或使用 Mirostat 算法动态调整采样范围。 - 坑3：混合策略。实际工程中常用 Diverse Beam Search，在 beam 中引入 diversity penalty（如
diversity_penalty=0.5），让不同 beam 探索不同语义空间，兼顾准确率和多样性。另一个常见做法是：先用 Beam Search 生成候选，再用采样做 rerank（如 Contrastive Search）。
4. 具体数字与论文参考
- Beam Search 在 WMT 翻译任务上，BLEU 比 greedy 高 1-2 个点（
beam_size=4时最优，再大收益递减）。 - Top-p 采样在故事生成任务上，人工评估的多样性得分比 Beam Search 高 30%+（见 Holtzman et al., 2019）。
- 论文：
The Curious Case of Neural Text Degeneration（Holtzman 2019）系统分析了 Beam Search 的退化问题，并提出了 Nucleus Sampling。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从任务类型、输出质量、工程落地三个层面回答。任务类型上，确定性策略（Beam Search）适合机器翻译、摘要等有标准答案的任务；随机策略（采样）适合故事生成、对话等需要多样性的任务。输出质量上，Beam Search 通过
length_penalty和no_repeat_ngram控制重复，采样通过temperature和Top-p控制多样性。工程落地上，常用混合策略如 Diverse Beam Search 或 Contrastive Search。总结一句：没有银弹，选择取决于业务指标是 BLEU/ROUGE 还是人工多样性评分。”
4️⃣ 高频追问 & 应对
追问 1：你说 Beam Search 适合翻译，那如果翻译任务需要输出多个不同风格的译文（如正式 vs 口语），怎么处理？
应对策略：此时不能只用单一 Beam Search。可以先用 Beam Search 生成
beam_size个候选（如 10 个），然后按风格标签（如 formal/casual）做聚类，再从每个簇中选一个代表。或者使用 Contrastive Search，在解码时加入一个“对比损失”，强制不同 beam 探索不同语义空间。另一种方案是：用 Prompt Engineering，在输入中指定风格（如“请用正式语气翻译”），然后对每个风格分别跑 Beam Search。
追问 2：在实时对话系统中，Beam Search 的推理延迟太高，怎么优化？
应对策略：Beam Search 的复杂度是 O(beam_size * vocab_size * seq_len)，在实时场景下不可接受。解法：① 使用 Speculative Decoding，用一个小模型（如 1.5B）做 draft，大模型（如 7B）做 verify，beam_size 可以设到 4 而延迟几乎不变。② 将 beam_size 从 4 降到 2，并用 Length Normalization 补偿质量损失。③ 如果任务允许，退化为 Greedy Decoding（beam_size=1），在大多数摘要任务上 ROUGE 只下降 0.5-1 个点，但延迟降低 50%+。
追问 3：你提到了 Diverse Beam Search，它的 diversity penalty 怎么设置才不破坏质量？
应对策略：Diversity penalty 通常加在 beam 之间的相似度上（如 n-gram 重叠率）。经验值：
diversity_penalty=0.5在翻译任务上效果最好，再大（如 1.0）会导致 BLEU 下降 1-2 个点。关键 trade-off：penalty 越大，beam 之间越不同，但每个 beam 的质量会下降。建议在验证集上做网格搜索，监控 BLEU 和 Self-BLEU（衡量 beam 间多样性）的平衡点。
5️⃣ 避坑 · 常见错误答法
- ❌ “Beam Search 永远比 Greedy 好，因为搜索空间更大。” → ✅ “Beam Search 在翻译、摘要等任务上确实优于 Greedy，但在故事生成中会导致重复和缺乏多样性，需要结合采样或 diversity penalty。”
- ❌ “采样策略的 temperature 越高越好，因为多样性更高。” → ✅ “Temperature 过高（如 >1.5）会导致输出随机性过大，产生不连贯内容。通常范围在 0.7-1.2，需要根据任务调参。”
- ❌ “确定性策略就是 Beam Search，随机策略就是 Top-k 采样。” → ✅ “确定性策略还包括 Greedy Decoding、Contrastive Search；随机策略还包括 Top-p、Mirostat、Typical Sampling。选择时需考虑具体算法特性。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索结果多样性 vs 生成确定性”切入。例如：“在 RAG 中，如果检索到的文档高度相关，用 Beam Search 保证答案准确；如果文档有歧义，用采样生成多个候选答案，再用 reranker 选最优。”
- 如果你只做过传统 NLP：用“机器翻译中的 BLEU 指标 vs 故事生成中的人工评估”类比。例如：“传统 NLP 任务（如文本分类）追求确定性，所以用 Beam Search；生成任务（如对话）追求多样性，所以用采样。这个类比可以迁移到解码策略选择。”
- 如果你是校招无项目：聚焦“Holtzman 2019 论文复现 demo”。例如：“我复现了 Nucleus Sampling 论文，在 GPT-2 上对比了 Beam Search 和 Top-p 采样，发现 Beam Search 在 WikiText 上 perplexity 更低，但人工评估的多样性得分差 30%。”
The Curious Case of Neural Text Degeneration(Holtzman et al., 2019) - Nucleus Sampling 论文Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models(Vijayakumar et al., 2018)Contrastive Search: A Simple and Effective Decoding Strategy for Neural Text Generation(Su et al., 2022)Speculative Decoding: Fast Generation from Large Language Models(Leviathan et al., 2023)- Hugging Face 官方文档：
Generation with LLMs- 包含所有解码策略的代码示例和调参指南