AgentAlpha · 面试间← 返回主站

公司题库 · 滴滴

滴滴大模型 Agent 面试题

大模型算法岗以 GRPO 全家桶著称：损失函数手写、KL 估计、熵坍塌、训练监控指标层层下钻。

题目口径：来自 滴滴 等公开渠道的面经与岗位 JD 高频归纳，不是内部真题。 按大家实际被问到的方向整理，每题一页带答案与追问。

Q · GRPO 训练要盯哪些指标？熵坍塌和组内奖励方差为零分别怎么处理？GRPO 训练需盯紧奖励、策略熵、KL散度和组内奖励方差。应对熵坍塌可采用熵正则、降低KL约束或clip-higher；处理组内方差为零需引入动态采样过滤无效组，并优化奖励判据的难度分层。
Q · RL 训练中 Rollout 为什么会成为瓶颈？异步收集的旧策略数据还能用吗？Rollout 瓶缘来自自回归生成受访存限制、长尾序列拖批和与训练争抢 GPU；异步收集的旧策略数据是 off-policy 数据，不能直接当 on-policy 用，要配重要性采样修正并限制陈旧度。
Q · SFT 训到什么程度可以切 RL？切换的判断标准是什么？SFT 阶段需确保模型掌握基本任务能力且输出格式稳定，当验证集指标进入平台期、格式合规率达标且正确率非零时即可切 RL，避免探索成本过高。