DeepSeek-R1-Zero中的强化学习(RL)的原理
P1 · general_interview · 🏢 DeepSeek
1️⃣ 考察意图
面试官想考察你对强化学习在LLM推理场景中的落地理解，而非单纯背诵PPO公式。刁钻点在于：DeepSeek-R1-Zero为何弃用标准PPO的价值网络（critic），转而采用GRPO的组内相对奖励？这背后是计算效率与训练稳定性的权衡。答好了能展示你对RL算法工程取舍的深刻认知，以及从论文到大规模分布式训练的实战视野。
2️⃣ 标准答
DeepSeek-R1-Zero的核心RL算法是Group Relative Policy Optimization（GRPO），它是PPO的轻量化变体，专为LLM推理任务设计。下面从原理、奖励设计、训练流程和工程取舍四个层面拆解。
1. GRPO核心原理：去掉价值网络，用组内奖励替代
- 标准PPO需要两个网络：策略网络（policy）和价值网络（critic）。价值网络估计状态价值（V(s)），用于计算优势函数（advantage），但训练一个与策略同等规模的critic会加倍显存和计算开销。
- GRPO的改进：对每个输入问题，从当前策略采样一组回答（通常K=8-64个），然后计算组内每个回答的相对奖励作为优势。公式为：
- 对组内第i个回答，优势 A_i = (R_i - mean(R_group)) / std(R_group)
- 其中R_i是奖励模型对该回答的打分，mean和std是组内统计量。
- 这本质是用组内归一化替代critic的价值估计，避免了额外网络训练，同时天然具备baseline效果，降低方差。
2. 奖励设计：结果奖励 + 格式奖励
- 结果奖励（Outcome Reward）：基于答案正确性。例如数学题，若最终答案与标准答案一致则+1，否则0。这是主要信号，驱动模型学习正确推理路径。
- 格式奖励（Format Reward）：强制模型输出结构化推理过程。DeepSeek-R1-Zero要求回答包裹在
<think>...</think>标签内，格式正确则+0.1，错误则-0.1。这防止模型偷懒直接输出答案，确保可解释性。 - 为什么不用过程奖励？ 过程奖励需要人工标注中间步骤，成本极高。结果奖励+格式奖励的组合在数学推理上已足够，且易于自动化。
3. 训练流程：采样 → 奖励 → 更新 → 约束
- 采样：对batch中的每个问题，当前策略生成K个回答。这步可并行，利用vLLM等推理引擎加速。
- 奖励打分：用预训练的奖励模型（如基于DeepSeek-Chat微调）对每个回答打分，得到R_i。
- GRPO更新：用上述优势A_i计算策略梯度损失，公式与PPO类似但去掉critic项：
- L = -E[ min(ratio * A, clip(ratio, 1-ε, 1+ε) * A) ] + β * KL(π_θ || π_ref)
- ratio = π_θ(answer) / π_old(answer)，clip防止更新过大。
- KL散度约束：β * KL项惩罚策略偏离初始参考模型（π_ref），防止奖励黑客（reward hacking），例如模型学会输出无意义长文来刷格式分。
4. 工程取舍与落地坑
- 为什么GRPO比PPO更适合大规模训练？ 去掉critic后，显存占用降低约30-40%（取决于模型大小），且无需维护价值网络的优化器状态。在DeepSeek-R1-Zero的千卡集群上，这直接转化为更快的迭代速度和更大的batch size。
- 实际坑：组内奖励方差过小。当模型已收敛时，组内回答质量接近，奖励方差趋近于0，导致优势A_i接近0，梯度消失。解法：动态调整组大小K，初期用大K（如64）加速探索，后期用小K（如8）保持梯度信号；或引入奖励噪声（如高斯扰动）增加方差。
- 另一个坑：格式奖励与结果奖励冲突。模型可能为了格式分而输出
<think>...</think>但内容为空。解法：格式奖励只在回答包含有效推理内容时才生效，可通过长度阈值或关键词检测实现。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从算法原理、奖励设计和训练流程三个层面回答。算法层面，DeepSeek-R1-Zero使用GRPO，它去掉PPO的价值网络，用组内回答的相对奖励计算优势，降低计算成本。奖励设计上，结合结果奖励（答案正确性）和格式奖励（
<think>标签），避免过程奖励的高成本。训练时，采样K个回答，计算组内归一化优势，用KL散度约束防止偏离。总结一句：GRPO通过组内统计替代critic，在推理任务上实现了高效、稳定的RL训练。”
4️⃣ 高频追问 & 应对
追问 1：GRPO的组大小K如何选择？K越大越好吗？
不是。K越大，组内奖励估计越稳定，但采样成本线性增长。经验上，K=16-32是常见范围。K过大（如128）时，组内方差被过度平均，优势信号变弱，模型收敛变慢。实际中可动态调整：初期用大K（64）鼓励探索，后期用小K（8）精细优化。另外，K的选择与奖励模型噪声水平相关：若奖励模型噪声大，需更大K来平滑。
追问 2：为什么不用过程奖励？结果奖励在复杂推理任务上够用吗？
过程奖励需要人工标注每个推理步骤的正确性，成本极高且难以规模化。结果奖励在数学、代码等可自动验证的任务上已足够，因为模型可以通过试错学习正确路径。但对于开放域推理（如创意写作），结果奖励无法定义，此时需引入过程奖励或人类反馈。DeepSeek-R1-Zero聚焦数学推理，结果奖励+格式奖励是性价比最优解。
追问 3：GRPO的KL散度项β如何设置？过大或过小有什么影响？
β通常设为0.01-0.1。β过大（如1.0）会过度约束策略，导致模型几乎不更新，无法学到新推理模式；β过小（如0.001）则模型可能偏离参考模型过远，产生奖励黑客行为（如输出无意义长文）。实践中，β可随训练动态衰减：初期用大β稳定策略，后期用小β允许更多探索。也可参考PPO的adaptive KL方法，根据实际KL值自动调整β。
5️⃣ 避坑 · 常见错误答法
- ❌ 直接背诵PPO公式，说“GRPO就是PPO的简化版，去掉critic”。→ ✅ 强调GRPO的核心创新是组内归一化替代critic，并解释为什么这适合LLM推理（计算效率、并行化），而非简单“简化”。
- ❌ 只提结果奖励，忽略格式奖励。→ ✅ 必须指出格式奖励的作用：强制结构化输出，防止模型偷懒，同时说明其设计细节（如
<think>标签）和潜在冲突。 - ❌ 说“GRPO比PPO更好，所以DeepSeek用了它”。→ ✅ 承认trade-off：GRPO去掉critic降低了计算成本，但组内奖励方差可能不足，需要动态调整K或引入噪声。没有银弹。
6️⃣ 简历呼应
- 如果你有RL项目经验：从“我在XX项目中用PPO训练对话模型，发现critic训练不稳定，GRPO的组内归一化思路正好解决这个问题”切入，对比PPO与GRPO的实际训练曲线和显存占用。
- 如果你只做过传统NLP：用“类比”迁移：GRPO的组内归一化类似batch normalization，都是通过统计量替代额外网络。强调你对RL算法工程化的理解，而非纯理论。
- 如果你是校招无项目：聚焦论文复现：在GSM8K上用小型LLM（如GPT-2）实现GRPO，对比PPO的准确率和训练效率，展示代码能力和对论文细节的理解。
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（原始论文）
- Proximal Policy Optimization Algorithms（PPO原论文，Schulman et al., 2017）
- GRPO: Group Relative Policy Optimization（DeepSeek-Math论文，2024）
- “Reward Hacking in Reinforcement Learning” – 理解KL散度约束的必要性
- vLLM: Fast and Easy-to-use LLM Serving（用于GRPO采样加速的工程工具）