AWQ、GPTQ 和 FP8 量化怎么选？

先这样答

量化选型直接取决于硬件条件、压缩需求与生态兼容性。带有新硬件先试FP8。H系之后的硬件原生支持FP8格式。这种格式带来的精度损失非常小。开发者不需要为FP8执行复杂的校准步骤。FP8的主要妥协在于显存占用。它省下的显存相对INT4格式要少一些。

业务需要极限压缩时优先使用AWQ。AWQ的核心逻辑是按激活分布来保护重要权重通道。它并非按照权重本身的大小做简单筛选。这种设计让AWQ在INT4环境下表现更优。它的精度保持通常比其他量化方法更好。AWQ的量化执行速度也很快。开发者可以迅速完成模型的量化部署。

团队看重生态兼容时考虑GPTQ。GPTQ是一种经典的后训练量化技术。它采取逐层最小化量化误差的计算策略。业界经常使用GPTQ来做INT4量化。这种方法强依赖校准数据。开发者需要准备合适的校准数据来完成整个量化过程。GPTQ在开源社区拥有很好的生态兼容性。

面试官会怎么追问

• 「AWQ筛选重要通道的标准是什么？」 AWQ按激活分布来保护重要权重通道。它并非按照权重本身的大小进行筛选。基于激活分布能更好地保持INT4环境下的模型精度。这种机制也保证了较快的量化速度。

• 「既然FP8精度损失小，为什么还要用INT4？」 FP8节省的显存相对INT4较少。业务需要极限压缩显存时必须使用INT4。INT4通常配合AWQ或GPTQ来实现。FP8更适合H系之后的新硬件环境。

• 「GPTQ量化前需要做哪些准备？」 GPTQ是一种后训练量化方法。开发者必须为它准备校准数据。算法利用校准数据来逐层最小化量化误差。没有校准数据无法完成它的量化过程。

回答的坑

误认为AWQ是按照权重本身的大小来保护通道，实际上它是按激活分布来筛选。

忽略FP8的硬件限制，没有向面试官说明它需要H系之后的硬件原生支持。