3-7** QA：能否简单说一下动态规划方法、蒙特卡洛方法和时序差分方法的异同点
1️⃣ 考察意图
面试官想考察你对强化学习三大核心方法的系统理解，而非死记硬背定义。这是典型的“对比+工程取舍”题，刁钻点在于：你是否能跳出课本，从模型依赖、自举（Bootstrapping）、采样效率三个维度精准切割异同，并指出各自在真实场景中的致命缺陷。答好了能展示：① 对MDP求解本质的掌握；② 对偏差-方差权衡的直觉；③ 落地时选型的能力（比如为什么DQN用TD而不用MC）。这是P1进阶题，区分“背过书”和“真懂”的试金石。
2️⃣ 标准答
共同点：三者都用于求解马尔可夫决策过程（MDP），核心都是通过值函数（V或Q）迭代逼近最优策略。区别在于对模型的需求、更新方式、数据效率。
1. 动态规划（DP）—— 完美模型，自举，离线
- 核心：需要已知MDP的转移概率P(s'|s,a)和奖励R(s,a)，即完整环境模型。通过贝尔曼期望方程（策略评估）和贝尔曼最优方程（策略改进）迭代。
- 自举：用当前估计的后续状态值更新当前状态值，即
V(s) ← Σπ(a|s) Σ P(s'|s,a)[R + γV(s')]。这是典型自举。 - 工程取舍：模型已知时收敛快，但现实世界几乎无法获得精确P和R（比如自动驾驶的物理模型）。坑：假设环境完全已知，一旦模型有误差，策略会严重偏移（model-bias）。解法：用基于模型的RL（如Dyna）结合采样修正。
- 实际落地：棋盘游戏（如西洋双陆棋）可用DP，因为规则确定。但工业场景极少直接用DP，更多作为理论基准。
2. 蒙特卡洛方法（MC）—— 无模型，无自举，高方差
- 核心：不需要模型，通过完整轨迹（episode）的累积回报G_t = Σγ^k R_{t+k+1} 来更新值函数。
V(s) ← V(s) + α[G_t - V(s)]。 - 无自举：不依赖其他状态估计，只靠真实采样回报。优势：无偏估计，对马尔可夫性不敏感（适合部分可观测环境）。
- 工程取舍：必须等episode结束才能更新，回合制任务（如Atari游戏一局结束）可用，但连续任务（如机器人控制）无法终止则失效。坑：高方差——轨迹越长，G_t的方差爆炸（因为乘积γ^k累积噪声）。解法：用重要性采样或折扣因子调低长程依赖，但方差仍大。
- 实际落地：围棋（AlphaGo早期用MC树搜索）或赌博机问题，但现代RL几乎不用纯MC，因为样本效率太低。
3. 时序差分（TD）—— 无模型，自举，低方差
- 核心：结合DP的自举和MC的采样。
V(s) ← V(s) + α[R + γV(s') - V(s)]。TD误差δ = R + γV(s') - V(s) 同时包含真实奖励和估计值。 - 自举：用下一步估计值更新当前值，所以有偏（初始估计不准时偏差大），但方差远低于MC（因为只依赖单步噪声）。
- 工程取舍：TD是RL落地的王者——在线更新，无需完整轨迹，样本效率高。坑：自举导致偏差累积，在函数近似下可能发散（致命三要素：自举+函数近似+离策略）。解法：使用Double DQN去偏，或用Retrace算法修正。
- 实际落地：DQN、Sarsa、A3C等主流算法全是TD变体。例如AlphaGo Zero用TD(λ)结合深度网络，在围棋上碾压MC树搜索。
总结对比表（面试时可手画）：
| 维度 | DP | MC | TD |
|---|---|---|---|
| 模型依赖 | 需要完整模型 | 无模型 | 无模型 |
| 自举 | 是 | 否 | 是 |
| 更新时机 | 离线（全状态扫描） | 回合结束 | 每步在线 |
| 偏差 | 低（模型准确时） | 无偏 | 有偏 |
| 方差 | 低 | 高 | 中低 |
| 适用场景 | 已知模型、小状态空间 | 回合制、无模型 | 连续任务、大状态空间 |
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从模型依赖、自举方式和更新时机三个层面回答。共同点是都求解MDP值函数。区别在于：DP需要完整模型且全状态扫描，适合已知环境；MC无模型但必须等完整轨迹，方差高；TD无模型且在线自举，是工业主流。总结一句：DP是理论基石，MC是采样基准，TD是工程首选。”
4️⃣ 高频追问 & 应对
追问 1：TD(λ)中的λ参数怎么选？为什么不是λ=0或1？
λ控制资格迹（Eligibility Trace）的衰减，平衡MC和TD。λ=0退化为单步TD（高偏差低方差），λ=1退化为MC（无偏高方差）。实际中λ取0.8-0.9（如Sarsa(λ)），因为：① 单步TD在稀疏奖励下学习极慢（偏差大）；② MC方差太大导致不稳定。取舍：λ越大，对长程依赖越敏感，但计算开销线性增长（需维护资格迹矩阵）。工业落地时，如果环境奖励密集（如Atari），λ=0即可；如果奖励稀疏（如迷宫），λ=0.9更优。
追问 2：在连续控制任务中，为什么不用MC而用TD？
连续任务（如机器人关节控制）没有天然episode终止条件，MC无法计算完整轨迹回报G_t。即使人为设置截断（如每100步强制终止），截断引入的偏差会破坏MC的无偏性。TD每步更新，天然适合无限时域。坑：连续任务中TD的自举偏差会被函数近似放大，导致值函数发散。解法：用TD3或SAC中的双Q网络和延迟更新来稳定训练。
追问 3：DP和TD在策略迭代中，哪个收敛更快？
如果模型精确，DP收敛更快（一次全扫描相当于无穷多采样），但计算复杂度O(|S|²|A|)。TD每步只更新一个状态，样本效率低但计算轻量。实际对比：在CliffWalking（4x12网格）中，DP策略迭代约10轮收敛，TD（Sarsa）需500+步。但DP需要知道所有转移概率，而TD只需与环境交互。取舍：状态空间小且模型已知用DP，否则用TD。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“DP是离线学习，MC和TD是在线学习” → ✅ 正确说法：DP是离线（全状态扫描），MC是离线（回合结束更新），TD是在线（每步更新）。MC虽然不依赖模型，但必须等完整轨迹，所以也是离线更新。
- ❌ 说“MC方差高是因为无自举” → ✅ 正确说法：MC方差高是因为累积回报G_t是多个随机变量（奖励和转移）的乘积，方差随轨迹长度指数增长。无自举只是原因之一，更关键的是长程依赖。
- ❌ 说“TD比MC好，所以都用TD” → ✅ 正确说法：TD在样本效率上碾压MC，但MC的无偏性在部分可观测环境（POMDP）中更鲁棒。例如，在非马尔可夫环境中，TD的自举会放大错误，MC反而更稳定。
6️⃣ 简历呼应
- 如果你有RL项目（如DQN打游戏）：从“为什么DQN用TD而不用MC”切入，结合你项目中TD误差的收敛曲线，说明自举带来的偏差-方差权衡。可以提你用Double DQN解决过估计问题的具体经验。
- 如果你只做过传统ML（如监督学习）：用“偏差-方差权衡”类比：MC像无偏估计器（高方差），TD像正则化模型（有偏低方差）。强调你理解RL中采样效率与稳定性的矛盾，并提你读过Sutton的《Reinforcement Learning》第6章。
- 如果你是校招无项目：聚焦理论对比，手画对比表，并提你复现过CliffWalking环境下的DP、MC和Sarsa。强调你理解TD(λ)的资格迹实现细节，以及为什么λ=0.9比λ=0收敛更快。
- Sutton & Barto, Reinforcement Learning: An Introduction, 2nd Edition, Chapter 6-7（TD与资格迹经典教材）
- Richard S. Sutton, “Learning to Predict by the Methods of Temporal Differences”, 1988（TD奠基论文）
- Chris Watkins, “Learning from Delayed Rewards”, 1989（Q-learning原始论文）
- Hado van Hasselt et al., “Deep Reinforcement Learning with Double Q-learning”, 2016（解决TD自举过估计）
- 博客：Lilian Weng, “A (Long) Peek into Reinforcement Learning”（系统对比DP/MC/TD）