❓ Q16：GRPO 和 PPO 本质区别？
P1 · llm_training
🏷 标签：grpo, ppo, reinforcement-learning, llm-training
1️⃣ 考察意图
面试官想考察你对强化学习在LLM训练中落地的深度理解，而非单纯背诵算法公式。这是典型的“工程取舍+系统设计”题，刁钻点在于：PPO是RLHF的经典范式，GRPO是DeepSeek-R1等模型爆火后提出的简化变体，两者本质差异不在数学推导，而在“是否需要价值网络（Critic）”。答好了能展示：①对RL训练瓶颈（内存、稳定性、奖励稀疏）有实战感知；②能根据任务特性（如数学推理vs对话生成）选择最优策略；③理解“组内相对奖励”如何替代Critic的工程价值。
2️⃣ 标准答
核心差异一句话：PPO依赖一个独立的Critic网络估计状态值（Value Function）来计算优势函数（Advantage）；GRPO完全抛弃Critic，通过采样一组响应并计算组内相对奖励来替代值函数。
1. 算法架构对比
- PPO（Proximal Policy Optimization）：Actor-Critic架构。Actor（策略网络）生成动作，Critic（价值网络）估计当前状态的价值V(s)。优势函数通过GAE（Generalized Advantage Estimation）计算：A_t = δ_t + (γλ)δ_{t+1} + ...，其中δ_t = r_t + γV(s_{t+1}) - V(s_t)。Critic需要与Actor同步训练，参数量翻倍，且需要维护两个优化器。
- GRPO（Group Relative Policy Optimization）：无Critic架构。对每个输入prompt，从当前策略采样G个响应（如G=8），计算每个响应的奖励r_i。优势函数定义为：A_i = (r_i - mean(r)) / std(r)。完全用组内统计量替代值函数估计。
2. 为什么GRPO能省掉Critic？
- 工程取舍：Critic的引入是为了降低优势估计的方差（通过值函数作为baseline）。但Critic本身需要额外训练，且容易过拟合或欠拟合，导致训练不稳定。GRPO的假设是：当采样组大小G足够大时，组内平均奖励能近似作为baseline，方差可通过标准化控制。实际落地坑：G太小（如G=2）会导致优势估计噪声极大，训练发散；G太大（如G=64）又增加采样成本。DeepSeek-R1论文中G=8是经验平衡点，但需根据任务调整——数学推理任务奖励稀疏，G=8够用；对话生成任务奖励密集，G=4即可。
3. 训练效率与稳定性
- PPO：需要存储Critic的梯度，显存占用比GRPO高约30-50%（以7B模型为例，PPO约需4×A100-80G，GRPO约需3×）。但PPO的优势估计更平滑，在奖励函数复杂（如多维度奖励加权）时更稳定。
- GRPO：省去Critic后，训练流程简化为“采样→计算奖励→组内标准化→更新策略”。实际落地的坑：组内标准化会抹平不同prompt间的奖励尺度差异。例如，简单问题奖励普遍高，复杂问题奖励普遍低，组内标准化后两者的优势值被拉到同一量级，导致策略对困难样本关注不足。解法：引入“组间归一化”或分层采样（按难度分组）。
4. 适用场景选择
- 选GRPO：奖励函数明确且可快速采样（如数学推理GSM8K、代码生成HumanEval），采样成本低（单步推理快），且希望减少训练资源。DeepSeek-R1、Qwen2.5-Math均采用GRPO变体。
- 选PPO：奖励函数复杂（如RLHF中奖励模型+KL散度惩罚），或需要细粒度控制（如对话安全对齐）。InstructGPT、Llama2-Chat均使用PPO。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从算法架构、工程取舍、适用场景三个层面回答。架构上，PPO需要Critic网络估计值函数，GRPO通过组内相对奖励替代Critic。工程上，GRPO省显存但依赖组大小G的调参，PPO更稳定但计算开销大。场景上，数学推理选GRPO，通用RLHF选PPO。总结一句：本质区别是‘用额外网络估计baseline’还是‘用采样统计量估计baseline’。”
4️⃣ 高频追问 & 应对
追问 1：GRPO的组内标准化会不会导致奖励hacking？比如模型学会生成“安全但平庸”的答案来保证组内排名靠前？
会。这是GRPO的已知缺陷。应对策略：①引入KL散度惩罚（与PPO类似），限制策略偏离参考策略过远；②使用“分位标准化”而非均值标准化，例如只取组内前50%的响应计算优势，避免模型钻空子；③在奖励函数中增加多样性奖励（如n-gram重复惩罚），防止模型坍缩到单一模式。实际工程中，DeepSeek-R1在GRPO基础上加了KL惩罚项，效果显著。
追问 2：如果采样组大小G=1，GRPO退化成什么？和PPO比谁更差？
G=1时，组内均值和标准差退化为单点统计量，优势函数恒为0，策略无法更新。这暴露了GRPO的致命弱点：必须依赖组内对比。而PPO即使单条轨迹也能通过Critic估计优势。所以GRPO不适合在线流式场景（如实时对话），PPO仍是唯一选择。工程上，若采样成本极高（如调用外部API），优先选PPO。
追问 3：GRPO的组内标准化等价于在奖励函数上做“对比学习”，你怎么看？
这个视角很准。GRPO的组内标准化本质是让模型学习“相对排序”而非“绝对分数”，这与对比学习（如SimCLR）的InfoNCE损失异曲同工。但区别在于：对比学习在表征空间做正负样本区分，GRPO在奖励空间做相对排序。这解释了为什么GRPO对奖励函数的绝对尺度不敏感——你只需要奖励函数能正确排序不同响应即可，不需要精确数值。实际落地时，奖励模型可以只输出排序分数（如Elo rating），无需校准。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“GRPO是PPO的简化版，去掉Critic后性能变差” → ✅ 正确说法：GRPO不是简单简化，而是针对特定场景（奖励函数明确、采样成本低）的优化变体。在数学推理任务上，GRPO性能反而优于PPO（DeepSeek-R1论文实验）。
- ❌ 说“GRPO不需要价值网络，所以训练更稳定” → ✅ 正确说法：GRPO省去Critic后减少了模型参数量，但组内标准化引入新的方差来源（组大小G的敏感度）。实际训练中，GRPO的稳定性高度依赖G的调参，而PPO的稳定性更可预测。
- ❌ 说“PPO和GRPO只能二选一” → ✅ 正确说法：可以混合使用。例如，在RLHF早期用PPO稳定训练，后期切换到GRPO微调特定能力（如数学推理）。DeepSeek-R1的训练流程就包含多个阶段。
6️⃣ 简历呼应
- 如果你有RLHF项目：从“训练资源瓶颈”角度切入，说明你如何在项目中权衡Critic的显存开销与训练稳定性。例如：“在7B模型上，PPO需要4卡A100，GRPO只需3卡，但GRPO在对话任务上收敛慢，最终我们采用PPO+梯度检查点混合策略。”
- 如果你只做过传统NLP：用“对比学习”类比迁移。例如：“GRPO的组内标准化类似对比学习中的负样本构造，只不过对比空间从表征变成了奖励值。我曾在文本分类任务中用对比学习提升小样本性能，这种‘相对排序’思想是相通的。”
- 如果你是校招无项目：聚焦论文复现。例如：“我复现了DeepSeek-R1的GRPO训练流程，在GSM8K上从0训练1.5B模型，发现G=8时准确率比PPO高2.3%，但G=4时训练发散。我分析了原因：数学推理奖励稀疏，小G导致优势估计方差过大。”
7️⃣ 延伸阅读
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（GRPO原始论文）
- Proximal Policy Optimization Algorithms（PPO原始论文，Schulman et al. 2017）
- InstructGPT: Training language models to follow instructions with human feedback（PPO在RLHF中的经典应用）
- Qwen2.5-Math Technical Report（GRPO在数学推理中的工程实践）
- The N+ Implementation Details of RLHF with PPO（PPO训练中的常见坑与调参指南）