先给结论
分布式训练框架的选择取决于参数量与集群规模。单机到几十张卡的中小规模微调与训练首选 FSDP，作为 PyTorch 原生方案，它工程门槛最低，具备与 ZeRO-3 同级的显存优化。集群达到百卡级别或在单机进行大模型微调时，DeepSpeed 是主流选择，其配置驱动设计与混合精度机制能平衡开发效率与资源消耗。面对千亿参数以上模型及万卡级集群的预训练任务时，才需要引入 Megatron-LM，依靠其张量与流水线并行实现支撑庞大计算需求。
逐项对比
| 对比维度 | FSDP | DeepSpeed | Megatron-LM |
|---|---|---|---|
| 定位 | PyTorch原生全分片数据并行 | 显存优化与混合精度全家桶 | NVIDIA系模型并行极致实现 |
| 强项 | 零额外依赖且torchrun即用 | 配置驱动且offload机制成熟 | 万卡级预训练验证充分 |
| 弱项 | 仅解决数据并行范畴问题 | 与底层硬件栈结合相对较浅 | 上手重且高度依赖NVIDIA栈 |
| 典型场景 | 中小规模微调与训练 | 百卡级与单机大模型微调 | 千亿参数以上的从头预训练 |
| 成本 | 工程门槛与学习成本最低 | 配置文件驱动开发成本适中 | 软硬件适配与日常维护成本高 |
微调场景下，多数需求通过 FSDP 或 ZeRO 策略即可满足。FSDP 作为原生全分片数据并行方案，零额外依赖且 torchrun 即用，适合中小规模任务。DeepSpeed 提供更丰富的优化工具，修改 json 即可开启卸载机制与混合精度全家桶，是单机微调大模型的主流选择。
进入大规模预训练阶段后，单一数据并行无法容纳模型状态，Megatron-LM 的张量与流水线并行成为必需。它在 NVIDIA 硬件栈上验证充分，但代码复杂要求较高的底层开发能力，通常千亿参数模型才需引入。
工业实践中这些方案常组合使用。DeepSpeed 与 Megatron 有成熟的融合方案，利用 Megatron 处理模型切分，借助 DeepSpeed 降低显存占用。这种真 3D 并行策略是预训练大户的常规操作。
面试怎么答
遇到对比问题，首先向面试官反问具体的业务场景，明确任务是微调还是预训练、可用机器数量及模型参数规模。获取条件后再给出技术选型。几十张卡做微调答 FSDP 或 DeepSpeed，万卡集群做千亿模型预训练答 Megatron-LM 与 3D 并行组合方案。
常见错误答法是脱离规模谈优劣，例如宣称 Megatron-LM 最好而忽略其极高的工程门槛。另一误区是把 FSDP 和 ZeRO-3 完全对立，两者在显存优化层面同级，核心区别在于是否零额外依赖及原生生态的契合度。