What is mixed precision (e.g., FP16) and why is it used during inference
1️⃣ 考察意图
面试官想考察你对推理阶段性能优化的底层理解，而非单纯背诵“FP16省显存”。刁钻点在于：为什么推理时不用纯FP16？混合精度中的“混合”具体指什么操作？你能否讲清楚数值精度与模型输出质量的工程取舍。答好了能展示你对LLM推理引擎（如vLLM、TensorRT-LLM）的实战认知，以及处理精度敏感层（如LayerNorm、Softmax）的硬核经验。
2️⃣ 标准答
混合精度推理指在模型推理时，同时使用FP16（半精度浮点）和FP32（单精度浮点）两种数据类型，核心原则是：计算密集型操作用FP16加速，精度敏感型操作保留FP32保稳。
为什么不用纯FP16？
- 数值范围问题：FP16的指数位只有5位（FP32有8位），表示范围约±65,504，而FP32约±3.4×10³⁸。LLM的中间激活值（如Attention的softmax输出）可能接近0或非常大，FP16容易溢出（overflow/underflow）。
- 精度损失：FP16的尾数位仅10位（FP32有23位），相对误差约0.1%。对LayerNorm、残差连接等操作，累积误差可能导致输出分布偏移，影响生成质量（如困惑度上升0.5-1%）。
混合精度的具体做法（以PyTorch AMP为例）：
- 自动类型转换：
torch.cuda.amp.autocast()自动将矩阵乘法（torch.matmul）、卷积等操作转为FP16，而LayerNorm、Softmax、损失计算等保持FP32。 - 梯度缩放（仅训练）：推理时不需要，但需注意推理时某些框架（如TensorRT）会做权重校准（calibration），将FP32权重量化为FP16或INT8，减少精度损失。
- 关键层手动控制：在自定义模型中，用
with torch.cuda.amp.autocast(enabled=False):强制某些层（如输出层前的LayerNorm）运行在FP32。
为什么这么做——工程取舍：
- 显存减半：FP16权重和KV Cache占显存仅为FP32的一半。以LLaMA-7B为例，FP32权重约28GB，FP16仅14GB，单张A100 80GB可塞下更多并发请求。
- 吞吐量翻倍：NVIDIA Tensor Core在FP16下的计算吞吐是FP32的2倍（A100 FP16 TFLOPS: 312, FP32: 156）。实测vLLM部署LLaMA-13B，FP16推理吞吐量比FP32提升约1.8倍。
- 精度损失可控：大模型（>7B参数）对低精度更鲁棒，因为参数冗余度高。但小模型（<1B）或对数值敏感的任务（如数学推理）需谨慎，建议先做A/B测试：对比FP32和FP16在验证集上的困惑度（perplexity），差异<0.5%可接受。
实际落地的坑 + 解法：
- 坑1：FP16下的Attention溢出：当输入序列很长（>4K tokens）时，Attention score（QK^T）的数值可能超过FP16上限（65,504），导致NaN。解法：使用FlashAttention-2，它内部用FP32累加，输出再转回FP16；或手动对QK^T做缩放（如除以
sqrt(d_k)的平方）。 - 坑2：权重量化后的精度漂移：直接加载FP16权重可能因舍入误差导致输出变差。解法：使用TensorRT的INT8/FP8量化时，先做校准集（calibration dataset）上的KL散度最小化，找到最优缩放因子；或采用SmoothQuant技术，将量化难度从激活值迁移到权重上。
- 坑3：多GPU推理的通信瓶颈：FP16减少显存，但AllReduce通信量不变（仍是参数大小）。解法：使用FP16梯度压缩（如TopK稀疏化）或NVLink直连，但推理时更推荐张量并行（Tensor Parallelism）而非数据并行。
总结：混合精度推理是LLM部署的标配，核心是“FP16加速+FP32保稳”，通过显存减半和计算加速提升吞吐量，但需针对模型和任务做精度验证。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，定义上，混合精度推理是同时用FP16和FP32，FP16负责矩阵乘法等计算密集型操作，FP32负责LayerNorm等精度敏感层。第二，动机上，显存减半（如LLaMA-7B从28GB降到14GB），吞吐量提升近2倍（利用Tensor Core），且大模型对精度损失鲁棒。第三，工程取舍上，需注意Attention溢出（用FlashAttention解决）和权重量化漂移（用校准集优化）。总结一句：混合精度是LLM推理性能优化的核心手段，但必须做精度验证。”
4️⃣ 高频追问 & 应对
追问 1：FP16推理时，如果模型输出质量下降，你怎么排查？
应对策略：先量化问题：对比FP32和FP16在验证集上的困惑度（perplexity），差异>1%则有问题。然后逐层排查：用
torch.cuda.amp.autocast的enabled=False强制某层用FP32，看哪层导致差异最大。常见问题层：LayerNorm（累积误差）、Softmax（溢出）、残差连接（精度敏感）。最后针对性修复：对问题层手动指定FP32，或改用BF16（bfloat16，指数位同FP32，范围更大，但需Ampere+架构支持）。
追问 2：BF16和FP16比，推理时选哪个？为什么？
应对策略：选BF16。原因：BF16的指数位同FP32（8位），范围更大（约±3.4×10³⁸），不易溢出；尾数位少（7位 vs FP16的10位），精度略低但大模型可接受。实测LLaMA-2-7B，BF16推理困惑度与FP32几乎一致（差异<0.1%），而FP16可能差0.3-0.5%。但BF16需Ampere+架构（A100/RTX 3090+），老卡（V100）不支持。工程取舍：如果硬件支持，无脑选BF16；否则用FP16+FlashAttention防溢出。
追问 3：INT8量化比FP16更省显存，为什么不用INT8？
应对策略：INT8显存再减半（FP16的一半），但精度损失更大，尤其对LLM的激活值（outlier特征）。SmoothQuant等方案可缓解，但需校准集和额外计算。工程取舍：对延迟敏感场景（如实时对话），FP16足够（显存瓶颈通常不在权重，而在KV Cache）；对极致吞吐场景（如批量离线推理），INT8+FP16混合（权重INT8，激活FP16）更优。一句话：FP16是“无痛”优化，INT8需更多调参和验证。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“混合精度推理就是全部用FP16，因为FP16快” → ✅ 正确切入：混合精度是FP16和FP32的组合，关键层（如LayerNorm）必须保留FP32，否则数值溢出导致NaN。
- ❌ 说“FP16推理精度一定比FP32差，所以不推荐” → ✅ 正确切入：大模型（>7B）对FP16鲁棒，困惑度差异通常<0.5%，且可通过BF16或校准优化。需具体模型具体分析，不能一刀切。
- ❌ 说“混合精度只用于训练，推理用纯FP16就行” → ✅ 正确切入：推理同样需要混合精度，因为Attention和LayerNorm的精度敏感度不因训练/推理而变。TensorRT-LLM和vLLM都默认使用混合精度。
6️⃣ 简历呼应
- 如果你有LLM部署项目：从实际性能对比切入，比如“我在部署LLaMA-13B时，用vLLM的FP16模式，吞吐量比FP32提升1.8倍，显存从28GB降到14GB，且通过A/B测试验证困惑度差异仅0.3%”。
- 如果你只做过传统CV/NLP模型：用类比迁移，比如“我在YOLOv8推理时用过TensorRT的FP16量化，发现检测精度下降<1%，但FPS翻倍。LLM推理同理，但需额外处理Attention溢出”。
- 如果你是校招无项目：聚焦论文复现，比如“我复现了FlashAttention论文，发现FP16下长序列Attention容易溢出，所以用FP32累加。混合精度的核心就是这种‘计算用低精度，累加用高精度’的思想”。
- 《Mixed Precision Training》（Micikevicius et al., ICLR 2018）——混合精度训练的奠基论文，推理原理相通
- NVIDIA TensorRT Developer Guide: FP16/INT8 Quantization——官方文档，含校准集和精度验证方法
- 《SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models》（Xiao et al., ICML 2023）——解决INT8量化中激活值outlier问题的方案
- FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning（Dao et al., 2023）——解决FP16下Attention溢出的关键工具
- vLLM官方文档: Performance Tuning——含FP16/BF16推理的实测数据和建议