什么是量化（Quantization）

1️⃣ 考察意图

面试官考察的是你对模型优化核心手段的工程化理解，而非背诵定义。刁钻点在于：量化不是简单的“FP32转INT8”，而是一套涉及精度、速度、硬件适配的系统级取舍。答好了能展示：① 对LLM部署瓶颈（显存带宽、计算单元）的认知；② 能区分PTQ和QAT的适用边界；③ 知道量化带来的“尾巴效应”（如长序列精度下降）并给出缓解方案。这是区分“调包侠”和“真优化工程师”的关键题。

2️⃣ 标准答

定义与动机量化是将模型权重和激活值从高精度（FP32/BF16）映射到低精度（INT8/INT4/FP8）的过程。核心动机：LLM推理时，显存带宽是主要瓶颈（计算单元常空闲等数据）。以Llama-3-8B为例，FP16权重占16GB，INT4仅需4GB，带宽需求降低4倍，推理吞吐量可提升2-4倍。

量化方法分类

训练后量化（PTQ）：最常用，无需重训。
权重量化：对权重做对称/非对称量化，常用MinMax或Percentile校准。
激活量化：更难，因激活值分布动态变化。常用KL散度校准或SmoothQuant（按通道平滑激活和权重，减少异常值）。
工具：GPTQ（基于Hessian矩阵的逐层量化，对4-bit效果稳定）、AWQ（按激活值重要性保护敏感通道，精度优于GPTQ约0.5%）。
量化感知训练（QAT）：在训练中模拟量化误差，微调模型适应低精度。
LLM-QAT：用蒸馏+量化模拟，适合精度敏感场景（如代码生成）。
代价：训练成本高，需额外GPU小时，且对数据质量敏感。

工程取舍

对称 vs 非对称量化：对称量化（范围对称于0）计算简单，但若权重分布偏斜（如ReLU后全正），非对称量化（用零点偏移）能保留更多精度。
逐层 vs 逐通道量化：逐层量化（一个scale/层）速度快，但精度差；逐通道量化（每个输出通道独立scale）精度高，但增加计算复杂度。
实际落地的坑：
长序列退化：量化后，长上下文（>4K tokens）的困惑度（PPL）可能飙升2-3点。解法：对KV Cache单独做FP8量化（保留精度）或使用动态量化（按序列长度调整scale）。
硬件兼容性：INT4计算在A100上需通过Tensor Core的INT8路径模拟（pack/unpack），延迟反而增加。解法：优先用INT8或FP8（H100原生支持），或选用Bitsandbytes库的4-bit NF4格式（分位数量化，适配GPU架构）。

效果与评估

模型大小：INT4约FP16的1/4。
推理速度：在A100上，INT8约提升2x，INT4约提升3x（受batch size影响）。
精度损失：通用任务（MMLU）通常<1%，但代码/数学任务（HumanEval）可能掉2-3%。必须用校准数据集（如WikiText-2）做PPL验证，并检查长序列稳定性。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，量化本质是精度-速度的工程取舍，核心动机是解决LLM推理的显存带宽瓶颈；第二，主流方法分PTQ和QAT，PTQ中GPTQ/AWQ适合快速部署，QAT适合精度敏感场景；第三，实际落地需注意长序列退化、硬件兼容性等坑，并通过校准数据集验证PPL和任务精度。总结一句：量化不是无脑压缩，而是针对场景选择方法、校准数据和评估指标的系统工程。”

4️⃣ 高频追问 & 应对

追问 1：为什么量化后模型在长序列上精度下降更明显？怎么解决？

核心原因：量化误差在长序列中累积。KV Cache的量化（尤其激活值）会放大注意力分布偏差，导致PPL飙升。解法：① 对KV Cache单独用FP8量化（保留指数位精度）；② 使用动态量化（按序列长度动态调整scale，如短序列用INT4，长序列用INT8）；③ 在QAT阶段加入长序列蒸馏数据（如用128K tokens微调）。

追问 2：你提到AWQ比GPTQ精度高，具体高在哪？适用场景有何不同？

AWQ通过分析激活值重要性，对敏感通道（如输出层）保留更高精度（如INT8而非INT4），而GPTQ基于Hessian矩阵全局优化，对均匀分布权重更友好。AWQ在代码生成任务（HumanEval）上比GPTQ高约1.5%，但计算开销略大。适用场景：AWQ适合精度敏感且硬件支持混合精度（如H100），GPTQ适合快速部署且硬件受限（如手机端）。

追问 3：量化后的模型如何做在线推理的精度监控？

监控指标：① 实时PPL（用滑动窗口计算，阈值设为量化前PPL的1.05倍）；② 任务级准确率（如分类任务的置信度分布漂移）。工具：用NVIDIA Triton的模型分析器，或集成Prometheus监控PPL异常。若精度下降，回退到高精度版本或触发在线微调（如LoRA适配）。

5️⃣ 避坑 · 常见错误答法

❌ 说“量化就是FP32转INT8，模型大小减4倍，速度提4倍” → ✅ 正确说法：速度提升受限于计算单元利用率（如INT4需pack/unpack），实际提升2-3倍，且需区分权重量化和激活量化。
❌ 说“PTQ和QAT选一个就行，QAT精度更高” → ✅ 正确说法：QAT精度高但成本高，PTQ在大多数场景下精度损失<1%，需根据部署预算和精度要求选择。例如，手机端用PTQ（GPTQ）即可，自动驾驶场景需QAT。
❌ 说“量化后模型不需要校准数据集” → ✅ 正确说法：校准数据集（如WikiText-2的128个样本）用于确定scale和zero-point，缺失会导致量化误差放大，尤其对激活值量化。

6️⃣ 简历呼应

如果你有RAG项目：从“量化对检索精度的影响”切入，说明量化后embedding模型（如BGE-M3）的召回率下降<0.5%，但推理吞吐提升3x，适合高并发场景。
如果你只做过传统NLP：用“BERT量化”类比，说明LLM量化难点在于长序列和KV Cache，但核心原理（MinMax校准、KL散度）一致，可迁移经验。
如果你是校招无项目：聚焦“GPTQ论文复现”，用HuggingFace的AutoGPTQ对Llama-3-8B做4-bit量化，在MMLU上对比精度，输出量化报告，展示工程能力。
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (2023)
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (2024)
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models (2023)
LLM-QAT: Data-Free Quantization Aware Training for Large Language Models (2024)
工具：HuggingFace bitsandbytes 库、NVIDIA TensorRT-LLM 量化指南

—— 本场面试完 ——