| Q83 | What is self-consistency prompting, and how does it improve reasoning
1️⃣ 考察意图
面试官想考察你对 LLM 推理增强技术的理解深度，尤其是从“单次推理”到“多次采样+聚合”的范式跃迁。这并非简单的概念背诵，而是工程取舍题：你能否说清 self-consistency 与 CoT 的关系、温度与采样次数的调参逻辑、以及如何平衡准确率提升与计算成本爆炸。刁钻点在于：多数人只背“多次采样取多数”，但答不出为什么投票比单次 CoT 更鲁棒、以及何时该用概率加权而非硬投票。答好了能展示你对 LLM 随机性本质的认知、系统设计中的成本意识，以及动手调优的实战经验。
2️⃣ 标准答
定义与核心思想Self-consistency prompting 是对同一 prompt（通常配合 CoT 思维链）进行多次独立采样，然后通过聚合策略（多数投票或概率加权）选出最一致的答案。它利用 LLM 解码时的随机性（由 temperature 和 top-p 控制）生成多条推理路径，再通过“多数共识”过滤掉单次推理中的噪声或幻觉。
与 CoT 的关系CoT 让模型显式输出中间推理步骤，但单次 CoT 仍可能因一步错误导致全盘皆输。Self-consistency 在 CoT 基础上引入“多次采样”，相当于用多条推理路径的交叉验证来提升鲁棒性。例如在 GSM8K 数学题上，单次 CoT 准确率约 60%，而 self-consistency（采样 20 次）可提升至 80%+。
实现细节与工程取舍
- 温度设置：通常 0.7-1.0。温度过低（<0.3）会导致采样路径高度重复，失去多样性；温度过高（>1.5）则路径过于随机，多数投票失效。经验值：0.7 是平衡点。
- 采样次数：5-20 次。5 次即可看到明显提升，20 次后收益递减。取舍点：每增加一次采样，推理成本线性增长（token 数 × 采样次数），需根据延迟预算决定。
- 聚合策略：
- 多数投票：直接统计最终答案出现频率，选最高频。简单高效，但对概率分布不敏感。
- 概率加权：对每条路径的生成概率（log-prob 累加）做归一化，再按概率加权投票。能更好处理“高置信度但低频”的路径，但计算量稍大。实际落地中，多数投票已足够，概率加权仅在答案分布稀疏时有用。
实际落地的坑 + 解法
- 坑 1：采样路径中可能包含格式不一致的答案（如“42” vs “42.0”）。解法：在聚合前做标准化，如去除空格、统一数字格式、使用正则提取最终答案。
- 坑 2：对简单问题（如“1+1=？”），self-consistency 反而可能引入噪声，因为单次推理已足够准确。解法：设置置信度阈值，当单次推理的 log-prob 高于阈值时跳过采样，直接输出。
- 坑 3：长上下文场景下，多次采样导致 token 消耗爆炸。解法：使用 speculative decoding 或并行采样（如 vLLM 的 batch 推理）来降低延迟，或对中间推理步骤做压缩（如只保留最终答案的 token 序列）。
为什么这么做Self-consistency 的本质是“用计算换鲁棒性”。LLM 的推理路径具有随机性，单次输出可能落入局部最优或错误分支。通过多次采样，相当于在推理空间中做蒙特卡洛采样，多数投票则是对后验概率的近似。相比 CoT 的贪婪解码，它牺牲了 5-20 倍的推理成本，但换来了 10-20% 的准确率提升，在金融、医疗等高容错场景中价值巨大。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从定义、实现细节、工程取舍三个层面回答。定义上，self-consistency 是对同一 prompt 多次采样后通过多数投票或概率加权选出最一致答案，本质是用计算换鲁棒性。实现上，温度通常设为 0.7-1.0，采样 5-20 次，聚合策略选多数投票即可。工程取舍上，核心是平衡准确率提升与推理成本，对简单问题可设置信度阈值跳过采样。总结一句：self-consistency 是 CoT 的增强版，通过多条推理路径的交叉验证提升鲁棒性，但需根据场景控制成本。”
4️⃣ 高频追问 & 应对
追问 1：Self-consistency 和 CoT-SC（CoT with self-consistency）有什么区别？
两者本质相同，CoT-SC 是 self-consistency 在 CoT 场景下的具体应用。区别在于：self-consistency 可独立于 CoT 使用（如直接对 prompt 采样），但效果较差；CoT-SC 强制模型输出推理步骤，路径多样性更高，聚合效果更好。实际中，self-consistency 几乎总是与 CoT 搭配，所以常被混用。如果面试官追问，可以补充：CoT-SC 的论文（Wang et al., 2022）证明了在算术、常识推理任务上，CoT-SC 比单次 CoT 提升 10-20%。
追问 2：如果采样次数固定为 10，温度从 0.1 调到 1.5，准确率会怎么变化？
温度过低（0.1）时，采样路径高度重复，多数投票退化为单次推理，准确率接近 CoT 基线。温度过高（1.5）时，路径过于随机，多数投票可能选到噪声答案，准确率下降。最优区间通常在 0.7-1.0，此时路径多样性足够且质量可控。具体拐点取决于任务难度：简单任务（如常识问答）最优温度偏低（0.5-0.7），复杂任务（如数学推理）最优温度偏高（0.8-1.0）。
追问 3：Self-consistency 和 beam search 解码有什么区别？
Beam search 是确定性搜索，保留 top-k 个候选序列，但候选之间高度相关（共享前缀），多样性不足。Self-consistency 是随机采样，路径之间独立，多样性更高。工程上，beam search 适合翻译、摘要等需要高概率序列的任务；self-consistency 适合推理任务，因为错误路径可能提供不同的中间步骤，投票时能互补。取舍点：beam search 计算量可控（k 通常 3-5），self-consistency 计算量随采样次数线性增长。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“self-consistency 就是多次调用 LLM 取平均” → ✅ 正确说法：self-consistency 是对同一 prompt 多次采样后通过多数投票或概率加权聚合，不是简单的平均，因为答案空间是离散的（如分类、数字），平均无意义。
- ❌ 说“温度越高越好，因为多样性高” → ✅ 正确说法：温度过高会导致路径过于随机，多数投票可能选到噪声答案，最优温度通常在 0.7-1.0，需根据任务调整。
- ❌ 说“self-consistency 可以替代 CoT” → ✅ 正确说法：self-consistency 是 CoT 的增强，不是替代。没有 CoT 的推理步骤，直接对 prompt 采样效果很差，因为模型缺乏显式推理引导。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“self-consistency 用于答案聚合”切入，说明在 RAG 中如何对检索结果多次采样，通过多数投票过滤检索噪声，提升最终答案的鲁棒性。
- 如果你只做过传统 NLP：用“集成学习”类比，self-consistency 类似 Bagging，通过多个弱分类器（采样路径）投票提升强分类器（聚合结果）的准确率，但代价是计算成本。
- 如果你是校招无项目：聚焦论文复现，说明在 GSM8K 数据集上使用 Llama 2 7B 实现 self-consistency，比较不同采样次数（1,5,10,20）和温度（0.3,0.7,1.0）下的准确率与延迟，给出最优配置。
- Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., 2022)
- Large Language Models are Zero-Shot Reasoners (Kojima et al., 2022)
- vLLM: Efficient Memory Management for LLM Serving (Kwon et al., 2023)
- Speculative Decoding: Fast Generation from Large Language Models (Leviathan et al., 2023)