| Q36 | Can you briefly explain the difference between LLM training and inference
1️⃣ 考察意图
面试官想确认你是否真正理解 LLM 的生命周期，而不仅仅是背概念。这道题看似基础，但刁钻点在于：训练和推理在计算图、内存、精度、优化目标上的本质差异，以及这些差异如何影响工程决策。答好了能展示你对深度学习全流程的掌控力，包括反向传播、显存管理、量化、KV-cache 等实战细节。考察类型：概念辨析 + 工程取舍。
2️⃣ 标准答
LLM 训练和推理的核心区别在于：训练是“学习参数”，推理是“使用参数”，但具体差异体现在四个层面：计算图、内存、精度、优化目标。
1. 计算图与梯度流
- 训练：前向传播计算损失（如交叉熵），反向传播通过链式法则计算梯度，更新参数（如 AdamW）。计算图必须保留中间激活值（activation），用于梯度计算。例如，训练一个 7B 模型，每个 token 的激活值占用约 2MB（FP16），序列长度 4096 时，单样本需 8GB 显存。
- 推理：仅前向传播，无需保留中间激活，计算图可即时释放。但需注意：KV-cache 会缓存注意力层的 Key 和 Value，以加速自回归生成。例如，推理时每个 token 的 KV-cache 占用约 1MB（FP16），序列长度 2048 时，需 2GB 显存。
- 工程取舍：训练时显存瓶颈在激活值，推理时在 KV-cache。因此，训练用梯度检查点（gradient checkpointing）牺牲计算换显存，推理用 PagedAttention（如 vLLM）管理 KV-cache 碎片。
2. 内存与显存管理
- 训练：显存占用 = 模型参数 + 优化器状态（如 Adam 的动量和方差，约 2 倍参数）+ 梯度 + 激活值。以 7B 模型为例，FP16 参数占 14GB，优化器状态占 28GB，梯度占 14GB，激活值占 8-16GB，总计约 60-70GB。必须用 ZeRO（如 DeepSpeed ZeRO-3）或张量并行（Tensor Parallelism）分片。
- 推理：显存占用 = 模型参数 + KV-cache。7B 模型 FP16 参数 14GB，KV-cache 随序列长度线性增长（如 2048 序列需 2GB）。可用量化（如 INT4 量化将参数压到 3.5GB）或 FlashAttention 减少显存。
- 实际落地的坑：训练时若用混合精度（FP16），需注意梯度溢出（gradient overflow），常用 loss scaling 解决。推理时若用 INT4 量化，可能因精度损失导致生成质量下降，需用 GPTQ 或 AWQ 校准。
3. 精度与数值稳定性
- 训练：通常用 FP16 或 BF16（bfloat16）混合精度。BF16 动态范围大，更适合训练（如 NVIDIA H100 支持）。但反向传播时梯度可能下溢，需用 FP32 主权重（master weights）或 loss scaling。
- 推理：可用更低精度，如 INT8、INT4，甚至 FP8（如 H100 的 Transformer Engine）。量化后推理速度提升 2-4 倍，但需注意：激活值量化比权重量化更难，因为激活值分布动态变化。常用 SmoothQuant 或 LLM.int8() 处理异常值。
- 工程取舍：训练追求精度（BF16 是底线），推理追求速度（INT4 是主流）。但若模型用于数学推理（如代码生成），INT4 可能引入错误，需保留 FP16。
4. 优化目标与评估指标
- 训练：优化目标是损失最小化（如 perplexity），但实际关注的是收敛速度和泛化能力。常用学习率调度（如 cosine decay）、warmup、梯度裁剪。
- 推理：优化目标是生成质量和速度。质量用 BLEU、ROUGE、人工评估；速度用 tokens/s、首 token 延迟（TTFT）。常用技术：beam search（质量高但慢）、top-k/top-p 采样（多样性好）、KV-cache（加速自回归）。
- 实际落地的坑：训练时 loss 下降但生成质量差，可能因过拟合或数据分布偏移。推理时 beam search 导致重复生成，需用 repetition penalty 或 no-repeat-ngram-size。
总结：训练是“慢工出细活”，推理是“快准狠”。面试官想听你从计算图、内存、精度、优化目标四个维度拆解，并给出具体数字和技术名。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从计算图、内存、精度、优化目标四个层面回答。计算图上，训练需保留激活值反向传播，推理用 KV-cache 加速；内存上，训练显存瓶颈在激活值和优化器状态，推理在 KV-cache；精度上，训练用 BF16 保精度，推理用 INT4 提速度；优化目标上，训练关注 loss 收敛，推理关注生成质量和延迟。总结一句：训练是学习参数，推理是使用参数，但工程实现差异巨大。”
4️⃣ 高频追问 & 应对
追问 1：训练时为什么用 BF16 而不是 FP16？推理时 INT4 量化会不会影响效果？
训练用 BF16 因为其动态范围大（指数位 8 位 vs FP16 的 5 位），能避免梯度下溢，尤其在 LLM 训练中常见。FP16 的梯度可能因值太小被截断，需 loss scaling 补偿。推理时 INT4 量化确实可能影响效果，尤其对数学推理或长尾 token。常用 GPTQ 或 AWQ 校准，通过保留少量 FP16 权重（如 1%）或使用混合精度（如注意力层用 FP16，FFN 层用 INT4）来平衡。实际测试中，INT4 量化后 perplexity 上升约 0.5-1.0，但速度提升 3-4 倍，适合对延迟敏感的在线服务。
追问 2：训练时显存不够怎么办？推理时如何优化首 token 延迟？
训练显存不够用 ZeRO-3（分片优化器状态、梯度、参数）或张量并行（如 Megatron-LM）。若仍不够，用梯度检查点（牺牲 20% 计算换 50% 显存）。推理首 token 延迟（TTFT）优化：1）用 vLLM 的 PagedAttention 减少 KV-cache 碎片；2）用 FlashAttention 减少显存读写；3）用预填充（prefill）阶段并行计算，而非逐 token 生成。实际落地中，TTFT 目标通常 < 200ms，否则用户感知明显。
追问 3：训练和推理的 batch size 策略有何不同？
训练用大 batch（如 256-1024）提高吞吐和梯度稳定性，但受显存限制，常用梯度累积（gradient accumulation）模拟大 batch。推理 batch size 受延迟约束，通常为 1-64，用动态 batching（如 Triton Inference Server）合并请求。训练 batch 越大，收敛越快但泛化可能变差；推理 batch 越大，吞吐越高但延迟增加。取舍点：在线服务用小 batch 保延迟，离线批处理用大 batch 提吞吐。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“训练和推理只是前向传播的区别，训练多一个反向传播” → ✅ 正确切入：必须强调计算图保留、显存组成、精度选择、优化目标的差异，并给出具体数字（如 7B 模型训练需 60GB 显存，推理需 14GB + KV-cache）。
- ❌ 说“推理不需要优化器，所以更简单” → ✅ 正确切入：推理虽无优化器，但需处理 KV-cache 管理、量化校准、延迟优化，复杂度不亚于训练。
- ❌ 说“训练用 FP32，推理用 INT8” → ✅ 正确切入：现代 LLM 训练主流是 BF16 混合精度，推理用 INT4 或 FP8，FP32 已很少用（除 master weights）。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从推理优化切入，强调 KV-cache 对长文档检索的影响，以及如何用 FlashAttention 加速。
- 如果你只做过传统 NLP：用 BERT 训练和推理类比，说明 LLM 的差异在于自回归生成和 KV-cache，以及显存需求数量级增长。
- 如果你是校招无项目：聚焦论文复现，如用 Hugging Face 的 GPT-2 跑训练和推理，记录 loss 曲线和 tokens/s，展示对计算图和显存的理解。
- 《Scaling Laws for Neural Language Models》（Kaplan et al., 2020）
- 《Efficient Large-Scale Language Model Training on GPU Clusters》（Narayanan et al., 2021）
- 《LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale》（Dettmers et al., 2022）
- 《FlashAttention: Fast and Memory-Efficient Exact Attention》（Dao et al., 2022）
- 《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》（Kwon et al., 2023）