| Q55 | What is the purpose of temperature in LLM inference, and how does it affect the output
1️⃣ 考察意图
面试官想考察你是否真正理解温度参数（Temperature）的数学原理与工程实践，而非仅背诵“低温确定、高温多样”的教科书定义。这是典型的“背概念+工程取舍”混合题，刁钻点在于：多数人只知其一，不知其二——比如温度如何与 top-k/top-p 协同工作、T=0 时的实际实现陷阱、以及温度对 logits 而非概率的直接作用。答好了能展示你对 LLM 推理管线的底层理解、调参经验，以及处理“确定性 vs 多样性”这一核心 trade-off 的硬实力。
2️⃣ 标准答
温度参数控制 LLM 生成时 softmax 分布的“锐利程度”，本质是 logits 缩放。数学上，在 softmax 前将 logits 除以 T：softmax(logits / T)。T 越小，分布越尖锐，高概率 token 被放大；T 越大，分布越平坦，低概率 token 获得更多机会。
核心影响与工程取舍：
- 低温（T < 1，典型 0.1-0.3）：用于事实性任务（如代码生成、数学推理、知识问答）。输出确定性高，但可能陷入重复或“死循环”——比如 GPT-4 在 T=0.1 时可能反复输出同一句话。坑：T=0 在数学上退化为 argmax（取最高 logit token），但实际实现中需处理除零错误，通常用
if T == 0: return argmax(logits)短路。 - 高温（T > 1，典型 0.7-1.0）：用于创意任务（如故事生成、头脑风暴）。增加多样性，但可能产生无意义或语法错误内容。坑：T > 2 时分布几乎均匀，输出随机性过高，实际很少用——除非你故意测试模型边界。
- T=1.0：保持原始 softmax 分布，是“无干预”基线。
与其他采样参数的协同：
- top-k：先截断 top-k 个 token，再应用温度。取舍：top-k 固定数量，在概率分布平坦时可能截掉合理 token（如 k=50 但第 51 个 token 概率仅低 0.1%）。常用 k=40-100。
- top-p（nucleus sampling）：动态截断累积概率达到 p 的 token 集合，再应用温度。取舍：比 top-k 更自适应，但 p 值过小（如 0.8）可能过度限制多样性。典型 p=0.9-0.95。
- 实际落地组合：事实性任务用
T=0.1, top_p=0.9；创意任务用T=0.8, top_k=50, top_p=0.95。注意：温度在 top-k/top-p 之后应用，顺序不可颠倒——先截断再缩放，否则低概率 token 被放大后可能“复活”被截断的 token。
实际落地的坑与解法：
- 坑 1：温度对 logits 的缩放是线性的，但 softmax 是指数函数，导致 T 的微小变化在低概率区域产生巨大影响。例如 T=0.5 时，logits 差 2 的 token 概率比从 e^2 变为 e^4，差距指数级扩大。解法：调参时用 log 尺度（如 0.1, 0.3, 1.0），而非线性步长。
- 坑 2：在 beam search 中，温度与 beam width 冲突。宽 beam（如 5）配合低温，可能所有 beam 收敛到同一路径，浪费计算。解法：beam search 时用 T=1.0 或禁用温度，改用 length penalty 控制多样性。
- 坑 3：多轮对话中，固定温度导致“重复模式”——模型在 T=0.7 下可能每轮都输出类似长度的句子。解法：动态温度，如首轮用 T=0.3 确保事实准确，后续用 T=0.8 增加多样性。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数学原理、工程取舍、实际调参三个层面回答。数学上，温度缩放 logits 再 softmax，T<1 锐化分布，T>1 平坦化。工程上，低温用于事实性任务但可能重复，高温用于创意任务但可能失控，且必须与 top-k/top-p 协同——顺序是先截断再缩放。实际调参时，事实任务用 T=0.1+top_p=0.9，创意任务用 T=0.8+top_k=50，同时注意 T=0 的除零陷阱和 beam search 中的冲突。总结一句：温度是控制生成‘确定性 vs 多样性’的核心旋钮，但必须结合采样策略和任务场景使用。”
4️⃣ 高频追问 & 应对
追问 1：温度 T=0 时，模型输出完全确定，那为什么有时 T=0 还会产生不同结果？
应对策略：这是常见陷阱。T=0 退化为 argmax，理论上输出确定，但实际原因有三：1）浮点误差：不同硬件（GPU vs CPU）或 batch size 下，softmax 计算顺序不同导致微小差异，累积后可能改变 argmax 结果。2）随机种子未固定：即使 T=0，如果模型内部有 dropout 或随机采样（如 beam search 中的随机束选择），仍会变化。3）模型非确定性：某些模型（如 MoE）的专家路由有随机性。解法：固定
torch.manual_seed(42)和cudnn.deterministic=True，并禁用 dropout。
追问 2：在 RAG 系统中，你如何选择温度？如果检索结果质量差，温度能补救吗？
应对策略：RAG 中温度选择取决于检索质量。1）检索质量高（top-1 准确率 > 90%）：用 T=0.1-0.3，确保生成严格基于检索内容。2）检索质量中等（top-5 有噪声）：用 T=0.5-0.7，允许模型“忽略”部分噪声，但可能引入幻觉。3）检索质量差：温度无法补救——高温只会放大噪声。实际解法：先优化检索（如用混合检索 BM25+DPR），再调温度。如果必须用温度，可尝试动态温度：对高置信度检索结果用低温，低置信度用高温，但需额外置信度模型。
追问 3：温度与 repetition penalty 如何配合？会不会冲突？
应对策略：会冲突。repetition penalty 通过惩罚已出现 token 的 logits 来减少重复，而温度缩放 logits。冲突点：如果 penalty 过大（如 1.2），配合低温（T=0.1），惩罚后的 logits 被极度锐化，可能导致模型“过度回避”常用词，输出生僻词。解法：1）先应用 repetition penalty，再应用温度，顺序不可逆。2）penalty 值建议 1.0-1.15，温度 0.3-0.7，避免极端组合。3）实际测试中，penalty=1.1 + T=0.5 是安全起点。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“温度控制模型‘创造力’，温度越高越有创意” → ✅ 应说“温度控制 softmax 分布的平滑程度，影响 token 采样概率，而非直接控制‘创造力’——高温可能产生无意义内容，不是创意。”
- ❌ 说“温度与 top-p 是独立参数，可以任意组合” → ✅ 应说“温度在 top-k/top-p 之后应用，顺序固定；且组合时需考虑协同效应，如低温+高 top-p 可能无效。”
- ❌ 说“T=0 就是确定性输出，不会变化” → ✅ 应说“T=0 理论上确定，但实际受浮点误差、随机种子、模型非确定性影响，可能产生微小差异。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索质量与温度协同”切入，举例你在项目中如何根据检索置信度动态调整温度（如用 T=0.1 对高置信度结果，T=0.5 对低置信度），并展示 distinct-1/2 指标改善。
- 如果你只做过传统 NLP：用“softmax 温度在知识蒸馏中的应用”类比——教师模型用高温（T=3-5）生成软标签，学生模型用低温（T=1）训练。展示你对温度跨领域理解。
- 如果你是校招无项目：聚焦“温度与 top-k/top-p 的数学关系”，复现一篇论文（如《The Curious Case of Neural Text Degeneration》）中的实验，用 Hugging Face Transformers 库对比不同温度下的生成质量，并给出代码片段。
- 《The Curious Case of Neural Text Degeneration》（Ari Holtzman et al., 2020）——top-p 采样论文，含温度对比实验
- Hugging Face Blog: “How to Generate Text: Using Different Decoding Methods for Language Models with Transformers”
- OpenAI Cookbook: “Techniques to improve reliability” ——温度与 repetition penalty 调参指南
- 《Language Models are Few-Shot Learners》（GPT-3 论文）——附录中温度对 few-shot 性能的影响
- 博客：”Temperature in LLMs: The Math Behind the Magic” ——含 softmax 公式推导和可视化