| Q66 | What is mixed precision, and why is it used during inference

1️⃣ 考察意图

面试官想考察你对混合精度推理的底层理解，而非简单背诵定义。这是一道“概念+工程取舍”题，刁钻点在于：多数人只知混合精度训练（AMP），却忽略推理场景下精度选择（FP16/BF16 vs FP32）的权衡。答好了能展示你对GPU硬件（Tensor Core、显存带宽）、数值稳定性（溢出、舍入误差）以及实际部署（吞吐量、延迟、精度退化）的硬核认知，而非纸上谈兵。

2️⃣ 标准答

混合精度推理指在模型推理时，使用低精度数据类型（如FP16或BF16）替代默认的FP32进行计算和存储，以降低显存占用并提升吞吐量。核心是“混合”——关键操作（如LayerNorm、Softmax）保留FP32，其余矩阵乘法等用低精度。

为什么这么做？

显存减半：FP16/BF16占2字节，FP32占4字节。以LLaMA-7B为例，模型权重从14GB降至7GB，可塞入单张A100（40GB）或T4（16GB），省下的显存可增大batch size。
吞吐量翻倍：现代GPU（如A100、H100）的Tensor Core对FP16/BF16有2倍于FP32的峰值算力（例如A100 FP16 312 TFLOPS vs FP32 156 TFLOPS）。推理时矩阵乘法是瓶颈，低精度直接加速。
带宽瓶颈缓解：显存带宽有限（A100 2TB/s），低精度数据搬运量减半，计算单元更少等待。

工程取舍与坑：

精度退化风险：FP16动态范围窄（5.96e-8 ~ 65504），大值易溢出（如Attention Score > 65504），小值易下溢（如梯度接近0）。推理中权重和激活值若分布极端（如LLaMA的LayerNorm输出），直接用FP16可能产生NaN或质量下降。解法：用BF16（bfloat16），其指数位同FP32（8位），动态范围一致，仅精度降低（7位尾数 vs 23位），几乎无溢出风险。H100及之后GPU原生支持BF16，A100需模拟。
实际落地坑：某次部署GPT-2生成对话时，FP16推理导致长文本（>512 tokens）中重复率飙升。排查发现Attention Softmax后的小概率值（<1e-7）被FP16截断为0，导致注意力分布坍缩。解法：在Attention计算中强制使用FP32（PyTorch torch.cuda.amp.autocast(dtype=torch.float32)），或使用BF16避免下溢。
实现方式：PyTorch用torch.cuda.amp.autocast(enabled=True, dtype=torch.float16)包裹推理循环，自动将大部分操作转为低精度，关键层保留FP32。NVIDIA TensorRT则通过INT8/FP16校准，更激进但需离线优化。

总结：混合精度推理是性价比最高的部署优化手段之一，但必须根据模型特性（如是否使用LayerNorm、激活值分布）和任务敏感度（如翻译vs代码生成）选择FP16或BF16，并做精度验证（如perplexity变化<1%）。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从原理、优势、工程取舍三个层面回答。原理上，混合精度推理用FP16/BF16替代FP32，利用Tensor Core加速和显存减半。优势是吞吐量提升2倍、显存占用减半。取舍上，FP16有溢出和下溢风险，推荐BF16；实际部署中需对Attention等关键层保留FP32，并验证精度退化。总结一句：混合精度推理是部署标配，但选型需结合硬件和模型特性。”

4️⃣ 高频追问 & 应对

追问 1：混合精度推理和量化（INT8/INT4）有什么区别？哪个更好？

混合精度是“软”降精度，保留浮点运算，精度损失可控；量化是“硬”映射到整数，需校准集和离线优化。INT8推理吞吐量更高（如A100 INT8 624 TFLOPS），但精度退化更明显（尤其对低比特敏感模型如LLaMA）。选择取决于任务：对精度要求高（如医疗诊断）用FP16/BF16；追求极致吞吐（如聊天机器人）用INT8+量化感知训练。实际中常组合使用：先混合精度，再对非关键层量化。

追问 2：BF16和FP16在推理中如何选择？你的模型是LLaMA-7B。

优先BF16。LLaMA-7B的LayerNorm输出值范围大（均值为0，标准差约1，但最大值可达10+），FP16易溢出。BF16指数位同FP32，无溢出风险，仅尾数精度降低（7位 vs 23位），对生成质量影响极小（perplexity增加<0.1）。若GPU不支持BF16（如V100），则用FP16+关键层FP32，并做溢出检测（如检查Attention Score最大值）。

追问 3：混合精度推理时，显存占用减半，但为什么实际吞吐量提升不到2倍？

因为推理瓶颈不全是计算，还有显存带宽和内存延迟。例如，Transformer推理中，KV Cache的读写是带宽密集型，低精度数据搬运减半，但CPU-GPU通信、LayerNorm等非矩阵操作仍用FP32。实际提升约1.5-1.8倍（A100上LLaMA-7B FP16 vs FP32）。若模型是计算密集型（如大batch size），提升更接近2倍；若带宽瓶颈（如小batch），提升有限。

5️⃣ 避坑 · 常见错误答法

❌ “混合精度推理和训练一样，都用AMP自动混合精度。” → ✅ 训练中AMP用于梯度缩放（loss scaling），推理中无需梯度，只需关注前向传播的数值稳定性。推理时AMP主要控制数据类型，而非梯度。
❌ “FP16推理精度损失可以忽略，直接全量用FP16就行。” → ✅ 必须验证。例如，GPT-2的Attention Softmax下溢会导致生成质量下降。正确做法是：先跑perplexity对比，若退化>1%，则对关键层（Attention、LayerNorm）保留FP32。
❌ “混合精度推理只适用于大模型，小模型没必要。” → ✅ 小模型（如BERT-base）用FP16也能提升吞吐，尤其部署在T4等低端GPU时，显存减半可增大batch size，提升QPS。

6️⃣ 简历呼应

如果你有LLM部署项目：从“实际部署LLaMA-7B时，FP16推理导致长文本生成重复”切入，展示排查过程（Attention下溢）和解决方案（BF16+关键层FP32），体现工程debug能力。
如果你只做过传统NLP（如BERT）：用“BERT推理中FP16显存减半，batch size翻倍，QPS提升1.5倍”类比，强调混合精度是通用优化手段，不限于大模型。
如果你是校招无项目：聚焦“在HuggingFace上复现LLaMA-7B推理，对比FP32/FP16/BF16的perplexity和吞吐量”，展示对数值精度和硬件特性的理解，可附上GitHub demo。
“Mixed Precision Training” (Micikevicius et al., 2018) - 混合精度训练原论文，推理原理相通。
“bfloat16: The Secret to High-Performance Deep Learning” (Google Cloud Blog) - BF16原理与优势。
NVIDIA TensorRT Developer Guide - 混合精度推理的工程实现与INT8校准。
“LLM Inference Performance: Best Practices” (Hugging Face Blog) - 实际部署中的精度与吞吐权衡。
PyTorch AMP Documentation - torch.cuda.amp.autocast API详解与使用场景。

—— 本场面试完 ——