How does quantization reduce model size

1️⃣ 考察意图

面试官想看你是否真正理解量化压缩的底层存储机制和计算收益，而非只背“32位降到8位省75%”的结论。考察类型是工程取舍+系统设计，刁钻点在于：你是否能区分权重存储压缩和推理计算加速是两个独立维度，以及是否清楚反量化开销和精度损失的工程代价。答好了能展示你对模型部署整条链路（内存带宽、计算单元、数值精度）的硬核理解，而非纸上谈兵。

2️⃣ 标准答

量化通过降低每个参数的数据位宽来减少模型大小，核心机制分三步：存储格式转换、压缩比计算、推理时反量化。

1. 存储格式转换：从浮点到整数

原始模型参数通常用 FP32（32位浮点，4字节）或 FP16（16位浮点，2字节）存储。
量化后转为 INT8（8位整数，1字节）或 INT4（4位整数，0.5字节）。例如，LLaMA-65B 在 FP16 下约 130GB，INT4 量化后仅 32.5GB，压缩比 4x。
为什么这么做：整数存储占用更少内存带宽，且现代 GPU（如 NVIDIA A100）支持 INT8 张量核心，可直接计算整数矩阵乘法，避免反量化。

2. 压缩比计算：参数级 vs 模型级

参数级：FP32→INT8 压缩比 4x（32/8），FP16→INT4 压缩比 4x（16/4）。
模型级：实际压缩比受量化粒度影响。逐层量化（per-tensor）比逐通道量化（per-channel）更粗，但计算开销小。例如，LLaMA-7B 在 FP16 下约 14GB，INT8 逐层量化后约 7GB，但精度损失 1-2%；若用逐通道量化，精度损失 <0.5%，但需额外存储缩放因子（scale）和零点（zero-point），实际压缩比降至 3.8x。
实际落地的坑：很多人忽略缩放因子和零点的存储开销。对于 INT8 量化，每个量化块需存一个 FP32 的 scale（4字节）和一个 INT8 的 zero-point（1字节），若块大小是 128 个参数，额外开销约 3.9%（5/128），压缩比从 4x 降到 3.85x。解法：用更大的块大小（如 256）减少开销，但会降低量化精度，需在精度和压缩比间权衡。

3. 推理时反量化与整数计算

量化后的权重以整数存储，推理时需反量化回浮点（或直接整数计算）。反量化公式：dequantized = (int_value - zero_point) * scale。
工程取舍：反量化增加计算延迟，但整数计算更快。例如，在 CPU 上，INT8 矩阵乘法比 FP32 快 2-4 倍，但反量化开销占推理总时间的 5-10%。解法：使用 QNNPACK 或 TensorRT 等库，将反量化融合到卷积或全连接层中，减少内存访问次数。
激活值量化：中间激活也量化，进一步减少内存。但激活值分布动态变化，常用动态量化（推理时统计 min/max）或量化感知训练（QAT，训练时模拟量化误差）。QAT 精度更高，但需额外训练成本，适合对精度敏感的场景（如医疗 NLP）。

4. 实际效果与精度权衡

LLaMA-65B 从 130GB（FP16）降到 32.5GB（INT4），但 MMLU 分数从 63.4% 降到 62.1%（损失 1.3%）。若用 GPTQ 算法（基于 Hessian 矩阵的量化），损失可控制在 0.5% 以内。
常见坑：量化后模型大小减少，但推理时内存占用可能不降反升，因为反量化后的浮点中间结果仍占 FP32 空间。解法：使用混合精度推理，仅权重用 INT8 存储，计算时反量化回 FP16，激活保持 FP16，平衡内存和速度。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从存储格式、压缩比计算、推理开销三个层面回答。存储层面，量化将 FP32 权重转为 INT8 整数，位宽从 4 字节降到 1 字节，大小减少 75%。压缩比层面，实际受量化粒度影响，逐通道量化比逐层量化精度高但额外存储 scale 和 zero-point，压缩比从 4x 降到 3.8x。推理层面，反量化有开销，但整数计算更快，可用库融合操作减少延迟。总结一句：量化通过降低位宽和利用整数计算单元，在精度损失可控下实现 2-4 倍压缩。”

4️⃣ 高频追问 & 应对

追问 1：量化后模型推理速度一定变快吗？

不一定。速度提升取决于计算瓶颈和内存瓶颈。如果模型是计算密集型（如大 batch 推理），INT8 张量核心可加速 2-3 倍；但如果模型是内存密集型（如小 batch 或单请求），反量化开销可能抵消收益。例如，LLaMA-7B 在单 batch 下 INT8 推理比 FP16 慢 5%，因为反量化占主导。解法：用 batch size ≥ 8 或使用 GPU 的 INT8 张量核心（如 A100 的 INT8 TFLOPS 是 FP16 的 2x）。

追问 2：INT4 量化比 INT8 好在哪里？有什么代价？

INT4 压缩比更高（4x vs 2x），但精度损失更大。例如，LLaMA-65B 用 INT4 量化后 MMLU 下降 1.3%，而 INT8 仅下降 0.3%。代价是：INT4 需要更复杂的量化算法（如 GPTQ 或 AWQ），且硬件支持有限（NVIDIA 从 Ada Lovelace 架构才开始支持 INT4 张量核心）。取舍：对精度敏感场景（如代码生成）用 INT8，对内存受限场景（如手机端）用 INT4。

追问 3：量化感知训练（QAT）和训练后量化（PTQ）怎么选？

PTQ 无需训练，速度快，但精度损失大（1-2%）；QAT 需在训练中模拟量化误差，精度损失小（<0.5%），但训练成本高。选择依据：如果模型已部署且数据不可得，用 PTQ；如果模型可重新训练且精度要求高，用 QAT。例如，GPT-3 用 PTQ 量化到 INT8 损失 1.5%，而 QAT 仅损失 0.3%，但需额外 10% 训练时间。

5️⃣ 避坑 · 常见错误答法

❌ “量化就是把 32 位浮点变成 8 位整数，大小直接减少 75%。” → ✅ “压缩比受量化粒度影响，逐通道量化需额外存储 scale 和 zero-point，实际压缩比约 3.8x，而非 4x。”
❌ “量化后推理速度一定变快。” → ✅ “速度提升取决于计算瓶颈和反量化开销，小 batch 下可能变慢，需用 batch size 或硬件加速。”
❌ “INT4 量化精度损失很小，可以直接用。” → ✅ “INT4 精度损失大（1-3%），需用 GPTQ 或 AWQ 算法控制，且硬件支持有限。”

6️⃣ 简历呼应

如果你有模型部署项目：从实际压缩比计算切入，展示你如何用 GPTQ 量化 LLaMA-7B 到 INT4，并对比 MMLU 分数变化，强调 scale 和 zero-point 的存储优化。
如果你只做过传统 NLP：用“图像压缩”类比量化，说明 JPEG 压缩（有损）和 PNG 压缩（无损）的区别，迁移到模型量化的精度权衡。
如果你是校招无项目：聚焦 GPTQ 论文复现，用 Python 脚本模拟 LLaMA-7B 的逐层量化，输出压缩比表格，并分析反量化开销。
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
TensorRT 量化工具文档（NVIDIA 官方）
QAT 论文：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

—— 本场面试完 ——