What is the trade-off between performance and accuracy in quantization
1️⃣ 考察意图
面试官想看你是否真正理解量化（quantization）的工程本质，而非仅背诵“精度损失、速度提升”的结论。考察类型是工程取舍（trade-off），刁钻点在于：能否用具体指标（如PPL、MMLU、延迟）量化权衡，并解释为什么INT4比INT8更难做好。答好了能展示你对模型压缩的底层原理（如量化误差来源、校准数据影响）和实际部署经验（如混合精度策略），这是大模型推理优化岗的核心硬实力。
2️⃣ 标准答
量化在LLM部署中的核心trade-off是：用更少的比特数表示权重和激活值，换取更快的推理速度和更低的内存占用，但代价是模型精度（如困惑度PPL或下游任务准确率）的下降。下面从三个层面拆解：
- 性能提升的量化收益
- 模型大小：FP16（16位）转INT8（8位）后，权重体积减半；INT4再减半。例如LLaMA-7B从13GB（FP16）降到6.5GB（INT8），再降到3.25GB（INT4），可直接塞进消费级GPU（如RTX 3090 24GB）。
- 推理速度：低精度整数运算（如INT8矩阵乘）在GPU上通过Tensor Core加速，吞吐量可提升2-4倍（实测LLaMA-7B INT4比FP16快2.3倍【通用知识】）。
- 显存占用：KV Cache也量化后，长序列推理（如8K tokens）显存节省显著，避免OOM。
- 精度损失的根源与度量
- 量化误差：将连续浮点值映射到离散整数区间时，会引入截断误差（clipping）和舍入误差（rounding）。极端值（outliers）在LLM中常见（如某些激活值比均值大10倍），若缩放因子（scale）选不好，误差会放大。
- 评估指标：用PPL（困惑度） 在标准数据集（如WikiText-2、C4）上对比，INT8通常PPL增加<0.1，INT4增加0.5-1.0（GPTQ论文数据）。下游任务如MMLU准确率下降1-3个百分点（INT4）。
- 实际坑：PPL低不一定代表生成质量好。例如量化后模型可能产生重复或语法错误，需用人工评估或BLEU/ROUGE补充。
- 工程取舍与优化策略
- 混合精度：保留关键层（如Attention的QKV投影）为FP16/INT8，其余层用INT4。这能平衡精度和速度，例如LLaMA-7B混合精度INT4/FP16比全INT4 PPL低0.2，速度仅慢5%。
- 校准数据集：选择与下游任务分布匹配的数据（如对话任务用ShareGPT，代码任务用CodeSearchNet）来优化scale和zero-point。若用随机文本校准，MMLU准确率可能额外下降2%。
- 量化方法对比：GPTQ（基于Hessian矩阵的权重量化）在INT4下PPL增加<0.5，但需要校准数据；而Round-To-Nearest（RTN）简单但精度损失大。实际部署中，GPTQ是主流，但需注意校准数据大小（128-1024样本）对结果敏感。
- 落地的坑：INT4量化后，某些算子（如LayerNorm）在低精度下数值不稳定，导致推理崩溃。解法：将LayerNorm保留为FP16，或使用动态量化（推理时实时计算scale）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从性能收益、精度损失、优化策略三个层面回答。性能上，量化后模型大小减半、推理速度提升2-4倍、显存占用降低；精度上，INT8通常PPL增加<0.1，INT4增加0.5-1.0，但下游任务准确率可能下降1-3%。优化上，混合精度保留关键层为FP16，校准数据集需匹配任务分布，GPTQ比RTN更优但需注意校准数据量。总结一句：量化是内存-速度-精度的三角权衡，具体选择取决于部署场景的延迟和精度要求。”
4️⃣ 高频追问 & 应对
追问 1：为什么INT4比INT8更难保持精度？你如何选择量化粒度？
核心原因是INT4的表示范围更小（16个离散值 vs 256个），量化误差相对更大，尤其对outlier敏感。选择粒度时，per-channel量化（每个输出通道独立scale）比per-tensor更精确，但计算开销略增。实际中，对权重用per-channel，对激活值用per-tensor（因为激活值分布更稳定）。若精度仍不达标，可对outlier层（如第一个和最后一个Transformer层）用INT8或FP16。
追问 2：你如何量化评估量化后的性能？除了PPL和MMLU，还有什么指标？
除了PPL和MMLU，还需关注推理延迟（首token延迟和生成吞吐量，用工具如vLLM的benchmark）、显存峰值（用nvidia-smi或PyTorch profiler）、生成质量（用人工评估或GPT-4打分，如MT-Bench）。另外，长序列稳定性很重要：量化后模型在8K+ tokens下可能产生重复或逻辑断裂，需用困惑度滑动窗口监控。
追问 3：如果量化后模型在特定任务（如代码生成）上准确率下降5%，你会怎么修复？
首先定位问题：用逐层误差分析（计算每层量化前后输出余弦相似度），找出误差最大的层（通常是Attention的QKV或FFN的中间层）。然后针对性修复：对该层用混合精度（INT8或FP16），或使用量化感知训练（QAT） 微调几轮（如用LoRA在代码数据上微调，学习率1e-5）。若时间有限，可改用GPTQ+更优校准数据（如代码片段），通常能恢复2-3%准确率。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“量化后精度一定下降，无法避免” → ✅ 正确切入：精度下降可通过混合精度、校准数据选择、QAT微调来缓解，甚至在某些任务上（如简单分类）下降可忽略。
- ❌ 只提PPL不提下游任务准确率 → ✅ 正确切入：PPL是代理指标，必须结合MMLU、HumanEval等任务评估，因为PPL低不代表生成质量好。
- ❌ 认为INT8比INT4好，因为精度更高 → ✅ 正确切入：INT4在内存受限场景（如边缘设备）是唯一选择，且通过GPTQ等优化，精度损失可控（PPL增加<0.5）。
6️⃣ 简历呼应
- 如果你有模型压缩项目：从“对LLaMA-7B做GPTQ INT4量化，在C4上PPL增加0.3，但推理速度提升2.5倍”切入，强调校准数据集选择和混合精度策略。
- 如果你只做过传统NLP：用“BERT量化类似，但LLM的outlier更严重，需用Hessian矩阵优化”类比，展示迁移能力。
- 如果你是校招无项目：聚焦“复现GPTQ论文，在OPT-125M上对比INT8/INT4的PPL和延迟曲线”，并讨论校准数据大小的影响。
- GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (Frantar et al., 2022)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (Dettmers et al., 2022)
- SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models (Xiao et al., 2023)
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (Lin et al., 2023)
- PyTorch官方量化教程：
torch.quantization文档及实战案例