**Q20：DeepSeek R1 核心创新
1️⃣ 考察意图
面试官想考察你对前沿大模型训练范式的理解深度，而非简单背诵论文。核心是判断你是否能区分“工程创新”与“理论突破”，以及是否理解强化学习（RL）在推理能力提升中的真实作用。刁钻点在于：R1 的“创新”并非全新算法，而是将 GRPO（Group Relative Policy Optimization）与长思维链（CoT）训练系统化结合，并解决了 RL 训练中的稀疏奖励和模式崩溃问题。答好了能展示你对 LLM 训练整条链路（数据、奖励、策略优化）的工程直觉，以及批判性对比其他模型（如 o1）的能力。
2️⃣ 标准答
DeepSeek R1 的核心创新可以拆解为三个层面：训练范式、算法工程、以及系统优化。它不是单一算法突破，而是一套“RL 驱动推理能力”的完整方案。
1. 训练范式：从 SFT 到 RL 的跃迁
- 核心：放弃传统 SFT（监督微调）作为推理能力的主要来源，转而使用纯 RL 训练思维链（CoT）。R1 的初始 checkpoint 是 DeepSeek-V2-Base（MoE 架构），然后直接上 GRPO 进行 RL 训练。
- 为什么这么做：SFT 受限于人类标注的思维链质量，容易让模型学到“模仿”而非“推理”。RL 通过奖励信号（答案正确性）让模型自主探索更优的推理路径，比如在数学题中尝试多种解法，最终收敛到更简洁、更少幻觉的 CoT。
- 工程取舍：纯 RL 训练初期奖励信号极其稀疏（大部分随机生成的 CoT 答案错误），导致模型难以收敛。R1 的解法是动态采样策略：在训练早期，对每个 prompt 采样 64-128 条 CoT，用组内相对奖励（Group Relative Reward）筛选出前 20% 的路径进行梯度更新，其余丢弃。这等价于一个隐式的“课程学习”，避免模型被大量无效路径带偏。
2. 算法工程：GRPO 的细节与坑
- GRPO 与 PPO 的区别：PPO 需要价值网络（Critic）估计状态值，而 GRPO 直接使用组内奖励的均值作为基线（baseline）。公式上，GRPO 的 advantage 计算为
r_i - mean(r_group)，其中r_i是单条轨迹的奖励，mean(r_group)是同一 prompt 下所有采样轨迹的平均奖励。 - 实际落地的坑：组内奖励均值作为基线会导致方差偏大，尤其在奖励函数设计不当时（比如只给 0/1 奖励）。R1 的解法是奖励归一化：对每个 batch 的奖励做 z-score 归一化，再计算 advantage。同时，引入KL 散度惩罚项（β=0.04），防止策略更新过快导致模型遗忘基础能力（如语言流畅性）。
- 为什么不用 PPO：PPO 的价值网络需要额外训练，且对 MoE 架构的负载均衡有干扰（价值网络是 dense 的，而 MoE 是 sparse 的）。GRPO 省去价值网络，训练更稳定，且显存占用降低约 30%（【通用知识】基于 MoE 架构的估算）。
3. 系统优化：长上下文与 MoE 的协同
- 长上下文训练：R1 的 CoT 长度可达 8K-16K tokens，远超普通 SFT 模型。这要求训练时支持长序列的 FlashAttention 和序列并行。R1 使用了 Ring Attention 变体，将长序列切分到多个 GPU 上，每个 GPU 只计算局部注意力，通过通信聚合全局结果。
- MoE 负载均衡：推理任务中，不同 token 的 CoT 长度差异极大（有的 100 tokens，有的 10K tokens），导致 MoE 的专家负载不均。R1 引入了动态专家丢弃：当某个专家被激活次数超过阈值时，随机丢弃部分 token 的激活请求，强制负载均衡。这牺牲了约 5% 的推理准确率，但训练吞吐提升 2 倍。
4. 对比 o1 的差异
- 数据策略：o1 依赖大量人工标注的“推理链”进行 SFT + RL，而 R1 几乎完全依赖 RL 自生成。R1 的 CoT 更“野”，但泛化性更强（在未见过的推理任务上表现更好）。
- 奖励设计：o1 使用过程奖励模型（PRM）对每一步推理打分，而 R1 只使用结果奖励（答案正确性）。R1 的取舍是：PRM 训练成本高且容易过拟合到特定推理模式，结果奖励虽然稀疏，但结合组内相对奖励后，模型能自动学习到“中间步骤的正确性”作为隐式信号。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从训练范式、算法工程、系统优化三个层面回答。训练范式上，R1 用纯 RL 替代 SFT 驱动推理能力，核心是 GRPO 算法和动态采样策略；算法工程上，GRPO 通过组内相对奖励和 KL 惩罚解决了稀疏奖励和模式崩溃；系统优化上，Ring Attention 和动态专家丢弃支撑了长 CoT 训练。总结一句：R1 的创新不是单一算法，而是一套‘RL 驱动推理’的工程化方案，证明了纯 RL 可以超越 SFT 的推理天花板。”
4️⃣ 高频追问 & 应对
追问 1：GRPO 和 PPO 相比，具体在什么场景下会失效？
GRPO 在奖励函数设计不当时容易失效。比如，如果奖励函数只给 0/1 信号且任务难度极高（如 IMO 几何题），组内所有采样轨迹的奖励都是 0，导致 advantage 全为 0，模型无法更新。应对方法是引入课程学习：先训练简单题（奖励信号密集），再逐步增加难度。另外，GRPO 对 batch size 敏感，batch size 过小（<64）时组内奖励方差过大，训练不稳定。实际中，R1 的 batch size 是 1024，每个 prompt 采样 64 条轨迹。
追问 2：R1 的 CoT 长度达到 16K，训练时如何避免 OOM？
核心是 Ring Attention + 序列并行。具体做法：将 16K 序列切分成 4 个 4K 的块，分配到 4 个 GPU 上。每个 GPU 计算局部注意力，然后通过 all-reduce 通信聚合全局注意力结果。显存占用从 O(n²) 降到 O(n² / gpu_num)，其中 n 是序列长度，gpu_num 是并行数。同时，使用 FlashAttention-2 的 kernel 融合，减少显存读写。实际中，8 张 A100 80G 可以训练 16K 序列的 MoE 模型。
追问 3：R1 的 MoE 架构中，专家数量如何影响推理能力？
专家数量增加会提升模型容量，但也会导致负载不均和通信开销。R1 使用了 256 个专家，每个 token 激活 8 个专家。实验表明，专家数从 64 增加到 256 时，推理准确率提升约 3%，但训练吞吐下降 20%。取舍点是：在推理任务中，模型容量比吞吐更重要，因为推理能力需要更多参数来存储“推理模式”。但专家数超过 512 后，负载均衡问题加剧，准确率不再提升。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“R1 的核心创新是 MoE 架构” → ✅ 正确切入：MoE 是 DeepSeek-V2 的架构，R1 的创新在于用 RL 训练推理能力，MoE 只是基础底座。面试官想听的是训练范式创新，而非架构创新。
- ❌ 说“R1 的 GRPO 是全新算法” → ✅ 正确切入：GRPO 本质是 PPO 的简化变体，核心创新在于“组内相对奖励”和“动态采样策略”的工程组合。强调“工程创新”而非“理论突破”更显专业。
- ❌ 说“R1 比 o1 强在所有任务” → ✅ 正确切入：R1 在数学和代码推理任务上接近 o1，但在需要世界知识的任务（如开放域 QA）上不如 o1。因为 R1 的 RL 训练只关注推理路径，未覆盖知识记忆。客观对比更能体现深度。
6️⃣ 简历呼应
- 如果你有 RL 项目：从“RL 训练中的奖励稀疏问题”切入，对比你项目中使用的 PPO 与 R1 的 GRPO 差异，强调你如何解决奖励设计问题（如课程学习、奖励归一化）。
- 如果你只做过传统 NLP：用“SFT 与 RL 的对比”类比迁移，说明你理解 SFT 的局限性（模仿学习 vs 探索学习），并展示你对 GRPO 中 advantage 计算的理解（组内相对奖励 vs 价值网络）。
- 如果你是校招无项目：聚焦 R1 技术报告中的 GRPO 公式推导，复现一个 1.5B 模型在 GSM8K 上的 RL 训练 demo，强调你理解动态采样策略和 KL 惩罚的数学原理。
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（技术报告）
- GRPO: Group Relative Policy Optimization（论文，DeepSeek-Math 中首次提出）
- Ring Attention with Blockwise Transformers for Near-Infinite Context（论文）
- FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning（论文）
- Scaling Laws for Reward Model Overoptimization（论文，理解 RL 训练中的 reward hacking 问题）