什么是 流水线并行
1️⃣ 考察意图
面试官想确认你是否真正理解“流水线并行”的核心机制，而不仅仅是背定义。考察类型是工程取舍 + 系统设计。刁钻点在于：很多人能说出“把模型切分到多卡”，但说不清气泡（bubble） 的来源、1F1B 调度为什么能减少显存峰值，以及何时该用流水线并行而非张量并行。答好了能展示你对分布式训练底层调度和显存管理的硬实力，以及在实际大模型训练中做系统选型的判断力。
2️⃣ 标准答
流水线并行（Pipeline Parallelism, PP）的核心思想：按层切分模型，每个设备（GPU）负责一个连续的层段（stage），数据以微批次（micro-batch）流式通过各阶段。它与数据并行（DP）互补——DP 切数据，PP 切模型。
1. 基本工作流与气泡问题
- 假设模型切为 4 个 stage，每个 stage 在 1 张 GPU 上。一个 batch 被分成 4 个 micro-batch。
- 前向：micro-batch 0 依次经过 stage 0→1→2→3；micro-batch 1 紧随其后，但必须等 stage 0 空闲。
- 反向：梯度从 stage 3 反向传播到 stage 0。
- 气泡（bubble）：在流水线启动和排空阶段，部分 GPU 处于空闲等待状态。气泡占比 =
(P-1) / (M+P-1)，其中 P 是 stage 数，M 是 micro-batch 数。P=4, M=4 时气泡约 43%；M=16 时气泡降至 16%。 - 工程取舍：增加 M 减少气泡，但会增大显存占用（需缓存更多中间激活值）。这是典型的吞吐 vs 显存 trade-off。
2. 主流调度策略
- GPipe（Google, 2019）：先完整跑完所有 micro-batch 的前向，再统一跑反向。实现简单，但显存峰值高（需缓存所有 micro-batch 的激活值），且气泡大。
- 1F1B（One-Forward-One-Backward, PipeDream, 2019）：每个 micro-batch 的前向计算后立即调度反向计算，交错执行。显存峰值显著降低（只需缓存当前 micro-batch 的激活值），且气泡略小。
- 实际落地的坑：1F1B 在反向计算时，梯度更新时机需要小心。PipeDream 原版采用“权重存储”（weight stashing）解决权重版本不一致问题，但增加了实现复杂度。现代框架（如 Megatron-LM）通常采用 1F1B + 梯度累积，在反向计算后不立即更新权重，而是累积梯度，等所有 micro-batch 反向完成后再统一更新，避免权重版本问题。
3. 通信模式与适用场景
- 通信量：每个 stage 只需向相邻 stage 传输激活值（前向）和梯度（反向），通信量远小于张量并行（TP）的 all-reduce。例如，GPT-3 175B 模型，PP 的通信量约是 TP 的 1/10。
- 适用场景：模型太大无法单卡装载（如 70B+ 参数），且层数较多（>40 层）时效果显著。如果模型层数少（<10 层），切分后每 stage 计算量太小，通信延迟会主导，得不偿失。
- 与张量并行的对比：TP 切分单层内的矩阵乘法，通信密集且延迟敏感，适合单机多卡（NVLink 互联）；PP 切分层间，通信稀疏且延迟容忍，适合跨机互联（IB/RoCE）。实际大模型训练（如 LLaMA 70B）通常采用 TP + PP + DP 三维混合并行。
4. 关键参数与调优
- micro-batch 数 M：经验值 M ≥ 4×P 可接受，M ≥ 8×P 气泡可忽略。但需监控显存。
- stage 切分策略：尽量让每个 stage 的计算量均衡，避免“长尾 stage”拖慢整体。可用自动 profiling 工具（如 Alpa）辅助。
- 虚拟流水线（Virtual Pipeline）：将每个 stage 进一步切分到多个设备，减少气泡，但增加通信开销。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，流水线并行的核心是按层切分模型，通过微批次流式计算，但会引入气泡问题，气泡占比 = (P-1)/(M+P-1)。第二，主流调度策略有GPipe（先全前向再全反向，显存高）和1F1B（交错调度，显存低），实际工程中常用 1F1B + 梯度累积。第三，它适用于模型超大、层数多的场景，通信量小但延迟敏感，通常与张量并行、数据并行组合使用。总结一句：流水线并行是解决单卡装不下大模型的关键技术，核心 trade-off 是吞吐 vs 显存，调度策略决定实际效率。”
4️⃣ 高频追问 & 应对
追问 1：1F1B 和 GPipe 相比，显存到底能省多少？能给出具体数字吗？
假设模型切 4 个 stage，每个 micro-batch 的激活值占 1GB，M=8。GPipe 需缓存所有 8 个 micro-batch 的激活值（8GB），加上权重和优化器状态，显存峰值约 8GB + 权重。1F1B 只需缓存当前正在计算的 micro-batch 的激活值（1GB），加上权重，显存峰值约 1GB + 权重。省了约 7/8 的激活值显存。但注意：1F1B 在反向计算时仍需缓存部分前向激活值用于梯度计算，实际省不到 7/8，但通常能省 60-70%。
追问 2：如果模型只有 12 层，你还推荐用流水线并行吗？为什么？
不推荐。12 层模型切到 4 个 stage，每个 stage 只有 3 层，计算量太小。气泡占比高（M=4 时 43%），而通信延迟（跨机约 10-20μs）相对计算时间不可忽略。此时张量并行或数据并行更优。经验法则：每个 stage 的计算时间应至少是通信延迟的 10 倍以上，否则流水线并行得不偿失。
追问 3：实际训练 70B 模型时，TP、PP、DP 的维度如何组合？给一个具体配置。
以 64 张 A100 为例：通常先确定 TP 维度（单机内，8 卡用 TP=8），再确定 PP 维度（跨机，4 机 32 卡用 PP=4），最后 DP 维度 = 总卡数 / (TP×PP) = 64 / (8×4) = 2。即：TP=8（单机内 all-reduce），PP=4（跨机点对点通信），DP=2（数据并行梯度同步）。这种组合下，通信瓶颈在 TP 的 all-reduce（单机 NVLink 带宽 600GB/s），PP 和 DP 的通信压力较小。
5️⃣ 避坑 · 常见错误答法
- ❌ “流水线并行就是把模型切成几块放到不同 GPU 上，数据依次流过就行。” → ✅ 必须点出气泡问题和调度策略（GPipe vs 1F1B），否则显得只懂皮毛。
- ❌ “流水线并行比张量并行好，因为通信量小。” → ✅ 两者是互补关系，不是替代关系。实际大模型训练通常组合使用，需要说明各自适用场景和 trade-off。
- ❌ “1F1B 就是前向和反向交替执行，没有气泡。” → ✅ 1F1B 只是减少气泡，不能消除。气泡仍然存在（启动和排空阶段），只是比 GPipe 小。
6️⃣ 简历呼应
- 如果你有分布式训练项目：从“我在训练 XXX 模型时遇到显存 OOM，通过引入流水线并行（PP=4）解决，并对比了 GPipe 和 1F1B 的吞吐差异”切入，展示实战调优经验。
- 如果你只做过单卡训练：用“我理解流水线并行类似于 CPU 的指令流水线，气泡就是流水线停顿（stall），1F1B 类似于乱序执行”类比，展示迁移学习能力。
- 如果你是校招无项目：聚焦“我复现过 Megatron-LM 的 PP 实现，用 PyTorch 的
torch.distributed.pipeline.sync.Pipe跑过 GPT-2 的流水线并行，测量了不同 M 值下的气泡占比”，展示动手能力。 - GPipe: Efficient Training of Large Neural Networks using Pipeline Parallelism (Huang et al., 2019)
- PipeDream: Generalized Pipeline Parallelism for DNN Training (Narayanan et al., 2019)
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (Shoeybi et al., 2019)
- Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning (Zheng et al., 2022)
- PyTorch 官方文档：
torch.distributed.pipeline.sync.Pipe使用指南