| Q62 | What are the challenges in performing distributed inference across multiple GPUs
1️⃣ 考察意图
面试官想考察你能否从系统层面拆解分布式推理的瓶颈，而非只背概念。这是典型的工程取舍 + debug 类型问题，刁钻点在于：多数人只提“通信开销”，但说不出具体数值（如 all-reduce 带宽占比）或如何权衡张量并行与流水线并行的粒度。答好了能展示你对 GPU 集群的显存、计算、通信三角关系的理解，以及实际调优经验（如减少气泡、优化 KV cache 分片）。
2️⃣ 标准答
分布式推理跨多 GPU 的核心挑战是显存、通信、计算三者的平衡，具体表现为以下 4 个维度：
- 通信瓶颈：张量并行 vs 流水线并行
- 张量并行（TP）在每层内切分权重，需要频繁 all-reduce 同步（如 Megatron-LM 的 f 和 g 操作）。以 8 张 A100 为例，LLaMA-70B 的 TP 通信量约 2× 模型参数大小（前向 + 反向），若用 NVLink（600 GB/s），单次 all-reduce 延迟约 10-20μs，但跨节点（InfiniBand 200 GB/s）会飙到 50-100μs，成为瓶颈。
- 流水线并行（PP）按层切分，通信量小（仅传递激活值），但引入气泡：若 4 个 stage 计算时间不均（如 attention 层比 FFN 层慢 30%），气泡率可达 15-25%。工程取舍：TP 适合单节点内（NVLink 高带宽），PP 适合跨节点（减少跨机通信），但需用 1F1B 调度（如 PipeDream）或交错调度（如 DeepSpeed）来降低气泡。
- 显存限制：参数 + KV cache 的切分
- 模型参数：LLaMA-70B 的 FP16 权重占 140 GB，单张 A100（80 GB）放不下，必须 TP 或 PP 切分。TP 切分后每卡存 1/tp_size 参数，但需额外存 all-reduce 中间结果（约 2× 参数大小）。
- KV cache：推理时 batch size=32、序列长度 4096 时，KV cache 占 32×4096×2×80×2（key+value 各 2 字节）≈ 42 GB。若用 PP，每 stage 只存自己层的 cache，但 TP 下每卡存完整 cache（因为每层都参与计算）。实际落地的坑：TP 下 KV cache 重复存储导致显存浪费，可用 PagedAttention（vLLM）或 GQA（分组查询注意力）减少 cache 量，但 GQA 需改模型结构。
- 负载不均衡：计算时间差异
- PP 中不同 stage 的计算时间可能差 2-3 倍（如 embedding 层 vs 最后几层），导致气泡。解法：用动态微批次（如 DeepSpeed 的 1F1B 调度）或非对称切分（给计算重的 stage 分配更多 GPU）。例如，LLaMA-70B 的 attention 层计算量是 FFN 的 1.5 倍，可将 attention 层单独放一个 stage，FFN 层合并。
- 同步推理 vs 异步推理：同步（严格按 micro-batch 顺序）保证延迟低，但吞吐受限；异步（允许乱序执行）提升吞吐，但增加显存占用（需缓存多个 micro-batch 的中间结果）。取舍：延迟敏感场景（如聊天）用同步，吞吐优先（如批量生成）用异步。
- 扩展效率：Amdahl 定律的制约
- 即使通信优化到极致，串行部分（如 token 生成的自回归依赖）无法并行。以 LLaMA-70B 为例，单卡推理延迟约 50ms/token，8 卡 TP 后理论加速比 8 倍，但实际受通信和同步开销影响，加速比通常只有 4-5 倍。关键：用更大的 batch size 掩盖通信延迟（如 batch size=64 时通信占比从 30% 降到 10%），但受显存限制。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从通信、显存、负载均衡、扩展效率四个层面回答。通信层面，张量并行引入 all-reduce 瓶颈，需用 NVLink 或 InfiniBand 优化；显存层面，参数和 KV cache 的切分需权衡 TP 和 PP；负载均衡层面，流水线并行气泡可用 1F1B 调度缓解；扩展效率受 Amdahl 定律限制，需用大 batch 掩盖通信。总结一句：分布式推理的核心是找到显存、通信、计算的三角平衡点。”
4️⃣ 高频追问 & 应对
追问 1：你提到张量并行和流水线并行，那在 8 卡场景下你会怎么选？具体怎么配置？
先看节点拓扑：如果 8 卡都在同一节点（如 DGX A100），优先用 TP=8，因为 NVLink 带宽高（600 GB/s），all-reduce 延迟低。如果跨节点（如 4 卡/节点 × 2 节点），用 TP=4 + PP=2：TP 在节点内用 NVLink，PP 跨节点用 InfiniBand（200 GB/s），减少跨机通信量。具体配置时，用 Megatron-LM 的
--tensor-model-parallel-size 4 --pipeline-model-parallel-size 2，并设置 micro-batch size=4 以平衡气泡和吞吐。
追问 2：KV cache 在分布式推理中怎么优化？有没有具体方法？
核心是减少重复存储和显存碎片。方法一：用 PagedAttention（vLLM 实现），将 KV cache 分页管理，按需分配，避免预分配浪费。方法二：在 TP 下，每卡存完整 KV cache 是浪费，可用 GQA（分组查询注意力）将 key/value 头数减少到 query 头的 1/8，显存降 87.5%。方法三：用 FlashAttention 的 KV cache 分片（如 FlashAttention-2 支持分块计算），但需注意跨 GPU 的通信同步。实际落地时，我曾在 8 卡 A100 上部署 LLaMA-70B，用 GQA + PagedAttention 将 KV cache 从 42 GB 降到 5 GB，batch size 从 32 提升到 128。
追问 3：如果模型太大（如 1T 参数），TP 和 PP 都不够，怎么办？
引入专家并行（EP），如 Mixture-of-Experts（MoE）模型。EP 将不同 expert 分配到不同 GPU，每 token 只激活 2-4 个 expert，减少计算量。但 EP 引入 all-to-all 通信（比 all-reduce 更重），且负载不均衡（热门 expert 可能被频繁访问）。解法：用 DeepSpeed-MoE 的随机路由 + 容量因子（如 1.25），或 Google 的 GShard 的辅助损失平衡负载。另外，结合序列并行（SP）将长序列切分到多 GPU，减少单卡显存。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“通信是最大挑战”，但不区分 TP 和 PP 的通信模式，也不给具体数值（如 all-reduce 带宽占比）。✅ 必须量化：TP 的 all-reduce 通信量约 2× 参数大小，PP 仅传递激活值（约 1/10 参数大小），并说明 NVLink vs InfiniBand 的延迟差异。
- ❌ 说“用更大的 batch size 就能解决所有问题”，忽略显存限制和延迟要求。✅ 要 trade-off：大 batch 提升吞吐但增加 KV cache 显存，且延迟敏感场景（如实时对话）需限制 batch size ≤ 4。
- ❌ 把分布式推理和分布式训练混为一谈，说“用数据并行就行”。✅ 强调推理是前向传播，没有反向传播，数据并行只适用于无状态场景（如 batch 推理），但自回归生成必须用模型并行。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从 KV cache 优化切入，描述如何在多 GPU 上部署 embedding 模型（如 BGE）和 LLM 推理，用 PagedAttention 减少显存，提升 batch size 到 128，吞吐从 100 tokens/s 提到 500 tokens/s。
- 如果你只做过传统 NLP：用“多线程 vs 多进程”类比：TP 像多线程共享内存（高通信），PP 像多进程管道（低通信但气泡），强调分布式推理是系统设计问题，而非模型问题。
- 如果你是校招无项目：聚焦论文复现，如 Megatron-LM 的 TP/PP 实现，或 vLLM 的 PagedAttention，说明你理解通信原语（all-reduce、all-to-all）和显存管理。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism（NVIDIA 论文）
- Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM（TP/PP 实现细节）
- vLLM: PagedAttention for Efficient LLM Inference（KV cache 优化）
- DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters（1F1B 调度）
- FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning（KV cache 分片）