Prompt Caching 是什么
1️⃣ 考察意图
面试官想考察你对LLM推理优化前沿技术的理解深度，而非简单背诵概念。这是典型的“工程取舍+系统设计”题，刁钻点在于：Prompt Caching不是简单的缓存，而是涉及KV Cache复用、缓存粒度选择、失效策略与一致性保证的复杂系统工程。答好了能展示你对推理引擎（如vLLM、TGI）底层原理的掌握，以及从“能用”到“用得好”的工程思维。
2️⃣ 标准答
Prompt Caching的核心是复用LLM推理过程中计算出的中间状态（主要是KV Cache），避免对相同前缀的重复计算，从而降低延迟和成本。
1. 原理：为什么能缓存？
- Transformer的自回归解码特性：生成每个token时，需要计算所有之前token的Key和Value矩阵。如果两个请求的前缀完全相同，那么前N个token的KV Cache计算结果完全一致。
- 缓存粒度：Token级（缓存每个位置的KV）、Segment级（缓存一段连续文本的KV）、Prompt级（缓存整个系统提示）。
2. 实现方式：三种主流策略
- 系统提示缓存（System Prompt Caching）：最常用。将固定的系统提示（如“你是一个AI助手”）的KV Cache预计算并持久化。每次新请求只需计算用户输入部分。
- 工程取舍：缓存命中率极高（>90%），但占用显存大。需要权衡缓存大小与显存预算，通常设置最大缓存条目数（如1000条），使用LRU淘汰。
- 实际坑：系统提示微调后，旧缓存立即失效。解法：为每个系统提示版本打标签（version hash），缓存key包含版本号。
- 前缀缓存（Prefix Caching）：更精细。缓存用户输入中重复出现的前缀（如“请用中文回答”）。使用Trie树结构管理，共享公共前缀的KV Cache。
- 为什么这么做：多轮对话中，历史消息不断增长，但只有最新几轮是变化的。前缀缓存可以复用历史对话的KV，只需计算新消息。
- 实际坑：前缀长度不固定，Trie树查找开销大。解法：限制前缀最小长度（如32 tokens），低于此长度不缓存，避免小前缀的碎片化。
- 完整提示缓存（Full Prompt Caching）：缓存整个Prompt的KV Cache。适用于批处理场景（如批量翻译相同模板的文档）。
- 工程取舍：缓存命中率低（除非请求完全相同），但命中时延迟降低最显著（从秒级到毫秒级）。适合离线批处理，不适合在线服务。
3. 关键挑战与解法
- 缓存失效策略：LLM的KV Cache对上下文敏感，即使一个token不同，后续所有KV都不同。失效策略不能简单用TTL。
- 解法：精确匹配（hash整个前缀）+ 语义相似度（如使用MinHash对前缀做近似匹配，但需容忍精度损失）。实际生产多用精确匹配，因为语义匹配的误判会导致生成质量下降。
- 内存管理：KV Cache占用显存巨大（一个2048 token的请求约占用1-2GB显存）。缓存过多会挤占推理显存。
- 解法：显存池化（将缓存与推理显存分离，使用CPU内存或NVMe SSD做二级缓存）+ 量化缓存（将KV Cache从FP16量化到INT8，显存减半，精度损失<1%）。vLLM的PagedAttention本质就是一种KV Cache的显存管理优化。
- 一致性保证：模型更新后，旧缓存可能产生错误结果。
- 解法：缓存版本化（缓存key包含模型版本号）+ 预热机制（模型更新后，自动重新计算高频系统提示的缓存）。
4. 实际落地数据
- 在Anthropic的Claude API中，系统提示缓存命中后，首token延迟降低2-3倍，成本降低50%（缓存命中部分按半价计费）。
- 在vLLM中，开启前缀缓存后，多轮对话场景的吞吐量提升30-50%（【通用知识】）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从原理、实现策略、工程挑战三个层面回答。原理上，Prompt Caching复用Transformer的KV Cache，避免重复计算相同前缀。实现上，主流有系统提示缓存、前缀缓存和完整提示缓存三种，各有取舍。工程上，核心挑战是缓存失效策略、显存管理和一致性保证，解法包括精确hash匹配、显存池化和缓存版本化。总结一句：Prompt Caching是LLM推理优化的‘低垂果实’，但需要精细的工程权衡才能发挥最大价值。”
4️⃣ 高频追问 & 应对
追问 1：如果用户输入的前缀只有几个token相同，前缀缓存还有意义吗？怎么处理？
有意义，但需要设置最小缓存长度阈值（如32 tokens）。短前缀的缓存命中率低，且Trie树查找开销可能超过收益。实际做法是：低于阈值的请求不缓存，只缓存长度超过阈值的公共前缀。另外，可以用滑动窗口缓存：只缓存最近N个token的KV，而不是整个前缀，适用于长对话场景。
追问 2：缓存失效时，如何保证模型输出的一致性？比如模型微调后，旧缓存还能用吗？
绝对不能直接用。模型微调后，参数变化会导致相同输入产生不同的KV Cache，复用旧缓存会输出错误结果。解法：缓存key必须包含模型版本号（如模型checkpoint的hash）。模型更新后，旧缓存自动失效，并通过预热机制重新计算高频缓存。对于在线服务，可以采用灰度缓存：新模型上线后，先不启用缓存，等缓存预热完成后再切换流量。
追问 3：Prompt Caching和KV Cache量化可以同时使用吗？有什么坑？
可以，但需要小心精度叠加。KV Cache量化（如INT8）本身有精度损失，如果缓存的是量化后的KV，再被多个请求复用，误差会累积。解法：缓存原始FP16的KV Cache，在推理时再量化到INT8，而不是缓存量化后的结果。或者使用混合精度缓存：对高频缓存保留FP16，低频缓存用INT8，平衡精度和显存。
5️⃣ 避坑 · 常见错误答法
- ❌ “Prompt Caching就是缓存整个Prompt，跟Web缓存一样，用TTL过期就行。” → ✅ “Prompt Caching缓存的是KV Cache，不是文本本身；失效策略不能用TTL，必须基于精确匹配或语义相似度，因为模型参数变化会导致缓存失效。”
- ❌ “缓存越多越好，能省很多计算。” → ✅ “缓存过多会挤占推理显存，导致OOM或吞吐下降。需要权衡缓存大小和命中率，通常用LRU淘汰，并限制最大缓存条目数。”
- ❌ “前缀缓存对所有场景都有效。” → ✅ “前缀缓存对多轮对话和长文档处理有效，但对短查询（如单轮问答）几乎无收益，因为前缀太短，缓存查找开销可能超过收益。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“文档分块+缓存”角度切入。例如：“在RAG系统中，我实现了文档块的KV Cache缓存，将重复查询的延迟从800ms降到200ms。核心是使用文档块的hash作为缓存key，并处理了块边界对齐问题。”
- 如果你只做过传统NLP：用“缓存计算中间结果”类比。例如：“类似传统NLP中缓存词向量或特征矩阵，Prompt Caching缓存的是Transformer的中间状态。我理解其核心是空间换时间，但需要处理更复杂的失效和一致性问题。”
- 如果你是校招无项目：聚焦论文复现。例如：“我复现了vLLM的PagedAttention论文，理解了KV Cache的显存管理原理。在此基础上，我设计了一个简单的系统提示缓存demo，测量了缓存命中率和延迟降低比例。”
- vLLM: PagedAttention 论文（Efficient Memory Management for Large Language Model Serving with PagedAttention）
- Anthropic Prompt Caching 官方文档（Anthropic API Prompt Caching）
- FlashAttention 论文（FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness）
- 缓存失效策略：LRU vs LFU vs FIFO 在LLM场景下的对比分析（博客：Caching Strategies for LLM Inference）
- KV Cache量化：INT8 Quantization for KV Cache in LLM Inference（论文：KVQuant）