What is the purpose of temperature in LLM inference, and how does it affect the output
1️⃣ 考察意图
面试官想看你是否真正理解temperature的数学本质，而非仅背“高温多样、低温确定”的口诀。这是典型的概念+工程取舍题：表面考参数含义，实际考你对softmax概率分布、采样策略和生成质量控制的底层认知。刁钻点在于：能否讲清temperature如何通过缩放logits改变概率熵，以及它与top-k/top-p的协同关系。答好了能展示你对LLM推理管线的系统理解，以及在实际任务中调参的工程直觉。
2️⃣ 标准答
核心定义Temperature（T）是LLM推理时对softmax输入logits的缩放因子。公式：softmax(logits / T)。T=1时保持原始分布；T→0时分布坍缩为argmax（贪婪解码）；T→∞时趋近均匀分布。
数学原理
- 低温（T<1）：放大logits间的差异，高概率token更突出，低概率token被压制。例如T=0.5时，logits除以0.5相当于乘以2，softmax后概率分布更尖锐。
- 高温（T>1）：缩小logits差异，分布更平滑，低概率token获得更多采样机会。T=2时，logits减半，softmax后概率熵增大。
对输出的影响
- 确定性任务（代码生成、数学推理）：低温（0.1-0.3）减少随机性，避免语法错误或逻辑跳跃。实际坑：T=0时模型可能陷入重复循环，因为贪婪解码会卡在局部最优。
- 创意任务（故事写作、对话）：高温（0.7-1.2）增加多样性，但超过1.5后输出可能变得无意义（概率分布过于均匀，采样到低质量token）。
- 平衡点：多数场景0.6-0.9是安全区间，兼顾连贯性与多样性。
工程取舍
- Temperature vs Top-k/Top-p：三者是串联关系。先通过temperature调整logits，再执行top-k截断（保留概率最高的k个token）或top-p核采样（保留累积概率达到p的最小集合）。常见错误：先top-k再temperature会导致缩放效果被截断削弱。正确顺序：temperature → top-k/top-p → 采样。
- 实际落地的坑：在对话系统中，固定temperature会导致回复风格单一。解法：动态调整——用户意图明确时用低温（如0.3），开放闲聊时用高温（如0.9）。例如字节的豆包在工具调用场景强制T=0.1，在创意写作场景T=1.0。
调优经验
- 代码生成（如GitHub Copilot）：T=0.2 + top-p=0.95，保证语法正确性同时允许少量变量名变化。
- 翻译任务：T=0.1 + top-k=1（等价于贪婪），避免同义词替换破坏术语一致性。
- 故事生成：T=0.8 + top-p=0.9，平衡情节合理性与意外转折。
进阶技巧
- 温度退火：推理初期用高温探索，后期降低温度聚焦。例如在长文本生成中，前20%token用T=1.2，后续T=0.6，减少早期发散导致的后期逻辑断裂。
- 对比解码：同时用高低温生成两个候选序列，选择与低温序列差异大但概率不低的token，提升创造性同时保持合理性（参考Anthropic的contrastive decoding）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数学原理、工程取舍、调优经验三个层面回答。数学上，temperature通过缩放logits改变softmax概率分布的熵，低温使分布尖锐、高温使分布平滑。工程上，它必须与top-k/top-p串联使用，且顺序不能错——先temperature再截断。调优上，代码生成用0.2，创意写作用0.8，对话系统动态调整。总结一句：temperature是控制生成确定性与多样性的核心旋钮，但需要结合任务和采样策略协同调参。”
4️⃣ 高频追问 & 应对
追问 1：如果temperature设为0，模型会输出什么？有什么风险？
输出会退化为argmax贪婪解码，每次选择概率最高的token。风险：① 陷入重复循环（如“I love love love love”），因为高概率token可能形成局部吸引子；② 缺乏多样性，对同一prompt永远输出相同结果。解法：在需要确定性的场景（如代码补全）用T=0.1而非0，保留微小随机性打破循环；或结合repetition penalty（如1.2）抑制重复。
追问 2：temperature和top-p哪个对多样性影响更大？如何选择？
两者作用域不同。temperature全局调整概率分布形状，影响所有token的相对概率；top-p动态截断尾部，只保留累积概率p内的token。对多样性影响：temperature更根本（改变分布熵），top-p更精细（剔除低概率噪声）。选择策略：先固定T=0.7-0.9，再用top-p=0.9-0.95剪枝；若需要极端多样性（如故事生成），可提高T到1.2同时降低p到0.8。经验法则：T控制“风格”，p控制“质量”。
追问 3：在分布式推理中，temperature如何影响batch推理的效率？
低温（T<0.5）时，softmax后概率分布尖锐，top-k截断后候选token少，采样阶段计算量小；高温时候选token多，采样开销增大。实际工程中，batch内不同请求的temperature不同会导致采样阶段无法统一优化。解法：将相同temperature的请求分到同一batch，或使用动态batching（如vLLM的prefill-decode分离），在采样阶段按temperature分组计算。
5️⃣ 避坑 · 常见错误答法
- ❌ “temperature越高，模型越有创意，所以写诗用2.0。” → ✅ “高温确实增加多样性，但超过1.5后输出质量急剧下降，因为低概率token被过度采样。创意任务推荐0.8-1.2，且需配合top-p过滤低质量候选。”
- ❌ “temperature和top-k是独立参数，可以任意组合。” → ✅ “两者是串联关系：先temperature缩放logits，再top-k截断。顺序错误会导致缩放效果被截断削弱，例如先top-k再temperature可能让截断后的候选集分布失真。”
- ❌ “代码生成用T=0最安全。” → ✅ “T=0可能陷入重复循环，实际用T=0.1-0.2 + repetition penalty=1.1，既保证确定性又避免死循环。”
6️⃣ 简历呼应
- 如果你有RAG项目：从检索增强生成中的温度调优切入——检索结果置信度高时用低温（如0.3），模糊查询时用高温（如0.8）增加答案多样性。可举例：在QA系统中，对top-3检索结果分别用不同温度生成候选答案，再通过rerank选择。
- 如果你只做过传统NLP：用softmax分类的温度类比——在文本分类中，温度控制输出概率的置信度，低温使模型更“自信”（概率接近0或1），高温使分布更平滑。迁移到生成任务，核心区别是采样而非argmax。
- 如果你是校招无项目：聚焦论文复现——读过《The Curious Case of Neural Text Degeneration》中关于temperature与重复率的实验，可复现T=0.5/1.0/1.5下GPT-2的生成质量对比，用perplexity和人工评分评估。
- 《The Curious Case of Neural Text Degeneration》（Holtzman et al., 2020）——核采样与temperature的对比分析
- 《Language Models are Few-Shot Learners》（Brown et al., 2020）——GPT-3中temperature的调参细节
- 《Contrastive Decoding: Open-ended Text Generation as Optimization》（Li et al., 2023）——高低温对比解码的进阶方法
- Hugging Face Transformers文档：
generate函数的temperature、top_k、top_p参数详解 - vLLM源码：
SamplingParams类中temperature与top-p的串联实现逻辑