How do you handle the large memory requirements of KV cache in LLM inference
1️⃣ 考察意图
面试官想考察你对 LLM 推理引擎底层内存瓶颈的理解深度，而非单纯背诵优化方法。刁钻点在于：你是否能区分“理论创新”（如 MQA/GQA）与“工程 hack”（如 PagedAttention、量化），并给出具体的 trade-off 数字。答好了能展示你从模型架构到系统部署的整条链路视野，这是大厂做高吞吐服务（如 ChatGPT API）的核心能力。
2️⃣ 标准答
KV cache 是 LLM 自回归推理的“阿喀琉斯之踵”。以 LLaMA-70B 为例，单条 2048 token 序列的 KV cache 约占用 70B × 2 × 2048 × 2 bytes（FP16）≈ 560 GB，远超单卡显存。处理它需要从模型架构、内存管理、精度压缩三个层面下手。
1. 模型架构层：减少 KV 头数
- MQA (Multi-Query Attention)：所有 head 共享一个 KV 投影，KV cache 直接减为 1/H（H 为 head 数）。代价是质量轻微下降（约 0.5-1 perplexity 点），但推理吞吐提升 2-3x。
- GQA (Grouped-Query Attention)：折中方案，将 KV head 分组（如 8 query head 对应 1 KV head）。LLaMA-2 70B 用 8 组，cache 减至 1/8，质量损失几乎不可感知。工程取舍：GQA 比 MQA 更易训练稳定，但实现时需注意分组后的 attention mask 计算，避免 OOM。
2. 内存管理层：非连续存储与动态调度
- PagedAttention（vLLM 核心）：将 KV cache 分页（page），类似 OS 虚拟内存。每个 page 固定大小（如 16 token），支持非连续物理地址。好处：消除内部碎片（传统连续分配浪费 30-50% 显存），支持 copy-on-write 实现 beam search 共享。实际落地坑：page 大小需调优——太小增加管理开销，太大浪费。经验值：16-32 token/page 在 A100 上最优。
- Offloading：将不活跃序列的 KV cache 卸载到 CPU 内存或 SSD。使用异步传输（CUDA streams）避免阻塞。坑：CPU-GPU 带宽仅 32 GB/s（PCIe 4.0），频繁换入换出会导致延迟抖动。解法：结合 LRU 缓存策略，只 offload 超过 10 秒未访问的序列。
3. 精度压缩层：量化与剪枝
- KV cache 量化：从 FP16 降到 INT8 或 FP8（FP8 在 H100 上原生支持）。INT8 量化后 cache 减半，质量损失 < 0.1% 在多数任务上。关键：需对 key 和 value 分别做 per-token 或 per-channel 量化，因为它们的分布不同（key 更分散，value 更集中）。使用动态量化（每 token 计算 scale）比静态量化更鲁棒。
- 滑动窗口注意力：限制每个 token 只关注最近 N 个 token（如 4096），cache 大小固定。Mistral 7B 用此方法，长文本任务（如 32K）只需 4K cache。取舍：丢失远距离依赖，适合摘要、对话，不适合代码推理。
4. 部署建议
- 高吞吐场景（如 API 服务）：优先 GQA + PagedAttention + INT8 量化，组合可减少 80% 显存占用。
- 低延迟场景（如实时对话）：用 MQA + 滑动窗口，牺牲一点质量换首 token 延迟。
- 硬件适配：H100 用 FP8 原生加速；A100 用 INT8 + 分页；CPU 推理用 offloading + 4-bit 量化（GPTQ）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从模型架构、内存管理、精度压缩三个层面回答。架构层用 GQA 或 MQA 减少 KV head 数，直接降低 cache 量；内存管理层用 PagedAttention 实现非连续存储，消除碎片并支持动态调度；精度层用 INT8/FP8 量化，无损压缩一半。总结一句：组合使用 GQA + PagedAttention + 量化，在高吞吐场景下可减少 80% 显存占用，且质量损失可忽略。”
4️⃣ 高频追问 & 应对
追问 1：PagedAttention 的 page 大小怎么选？为什么 16 token 比 32 好？
选择取决于序列长度分布和 GPU 架构。16 token/page 在 A100 上更优，因为：① 减少内部碎片——短序列（如 128 token）用 16 页比 32 页浪费少 50%；② 管理开销可控——每个 page 需 8 字节元数据，16 页比 32 页多一倍，但显存节省远大于开销。实测：在 ShareGPT 数据集上，16 token/page 比 32 的吞吐高 5-8%。如果序列极长（>8K），可考虑 32 以减少 page 数量。
追问 2：KV cache 量化时，为什么 key 和 value 要分开量化？per-token 和 per-channel 选哪个？
key 和 value 的分布不同：key 的每个维度值范围差异大（受位置编码影响），value 更均匀。分开量化可避免 key 的 outlier 污染 value。per-token 量化（每个 token 一个 scale）比 per-channel（每个维度一个 scale）更简单，但精度略低。推荐：key 用 per-channel 量化（保留维度差异），value 用 per-token 量化（减少计算）。在 LLaMA-7B 上，这种混合方案比统一 per-token 量化 perplexity 低 0.05。
追问 3：如果模型已经训练好（如 LLaMA-2），不能改架构，你怎么优化 KV cache？
只能从内存管理和精度层下手。① 用 PagedAttention 替换原生的连续 cache 分配，减少碎片；② 对 KV cache 做 INT8 量化，使用动态 per-token 量化，避免校准数据；③ 对长序列启用滑动窗口（如只缓存最近 4096 token），但需在验证集上测试质量损失。④ 最后考虑 offloading：将不活跃序列的 cache 移到 CPU，用 LRU 策略管理。组合可减少 60-70% 显存，无需重训练。
5️⃣ 避坑 · 常见错误答法
- ❌ 只说“用 FlashAttention 优化 KV cache” → ✅ FlashAttention 优化的是 attention 计算（减少显存读写），不直接减少 KV cache 大小。正确切入：FlashAttention 减少的是中间矩阵的显存占用，KV cache 优化需用 MQA/GQA 或 PagedAttention。
- ❌ 认为“量化 KV cache 会显著降低模型质量” → ✅ 在 INT8 下，质量损失通常 < 0.1% perplexity，且可通过 per-channel 量化或混合精度（key 高精度、value 低精度）进一步控制。实际部署中，量化是首选方案。
- ❌ 推荐“用更大的 batch size 来分摊 KV cache” → ✅ 更大的 batch size 会线性增加 KV cache 总量，反而加剧 OOM。正确思路：先减少单序列 cache（如 GQA），再增大 batch。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“长文档检索的 KV cache 瓶颈”切入——RAG 中长上下文（如 32K token）导致 cache 爆炸，你用 PagedAttention + 滑动窗口实现了 4x 吞吐提升。
- 如果你只做过传统 NLP：用“内存分页类比”迁移——KV cache 优化类似 OS 虚拟内存，PagedAttention 就是 page table，你理解其核心 trade-off（碎片 vs 管理开销）。
- 如果你是校招无项目：聚焦“GQA 论文复现”——你复现了 LLaMA-2 的 GQA 实现，对比了 MQA/GQA 的 perplexity 和推理速度，并分析了分组数对质量的影响。
- “Efficient Memory Management for Large Language Model Serving with PagedAttention”（vLLM 论文）
- “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints”
- “KV Cache Quantization: FP8 vs INT8 on H100”（NVIDIA 技术博客）
- “Mistral 7B: Sliding Window Attention for Long Contexts”
- “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness”