如何赋予 LLM 规划能力
1️⃣ 考察意图
面试官想看你是否理解“规划”在LLM中的本质——不是让模型背步骤，而是解决“长程依赖”和“组合爆炸”问题。考察类型是系统设计+工程取舍，刁钻点在于：候选人常只提Prompt（如CoT），但忽略了外部工具（如PDDL）和训练范式（如ReAct微调）的适用边界。答好了能展示你对“LLM作为推理引擎 vs 作为控制器”的权衡判断，以及从学术论文（如Tree-of-Thoughts）到工业落地（如LangGraph）的迁移能力。
2️⃣ 标准答
赋予LLM规划能力，核心是解决“如何让模型在长序列中保持目标一致性”。我分三个层面展开：Prompt工程、外部工具、训练范式，每个都有明确的trade-off和落地坑。
- Prompt工程：轻量级但不可靠
- Chain-of-Thought (CoT)：通过“Let’s think step by step”引导逐步推理。适用于数学、逻辑题，但坑：模型可能“假推理”——生成合理步骤但最终答案错误（常见于GSM8K数据集）。解法：用Self-Consistency采样多条路径投票，提升准确率约5-10%（【通用知识】）。
- Tree-of-Thoughts (ToT)：显式探索多条推理分支，用BFS/DFS剪枝。适用于游戏（如24点）或创意写作。trade-off：计算成本高（每步需评估多个分支），且分支评估函数（如“是否合理”）依赖另一个LLM，容易引入偏差。
- ReAct：将“推理”和“行动”交替输出（如“Thought: 需要查天气 → Action: Search(北京天气) → Observation: 晴”）。实战坑：模型容易陷入“行动循环”——反复调用工具而不推进推理。解法：在Prompt中加“最大行动步数”约束（如5步），并设置超时回退。
- 外部规划器：可控但耦合度高
- PDDL (Planning Domain Definition Language)：用符号规划器（如Fast Downward）生成步骤序列，LLM只负责将自然语言翻译成PDDL动作。优势：规划结果可验证、可解释；坑：PDDL定义成本高，且无法处理开放域（如“写一篇关于AI的博客”）。解法：只用于结构化场景（如机器人任务），用LLM做“动作映射”而非全规划。
- LangChain Plan-and-Execute：先让LLM生成“计划”（如步骤列表），再逐步骤执行。trade-off：计划一旦生成就固定，无法应对中间结果变化。解法：用动态重规划——每执行一步后让LLM检查计划是否需调整（参考BabyAGI的“任务队列”设计）。
- Graph-based（如LangGraph）：将规划建模为有向图，节点是“推理/行动”，边是“条件跳转”。实战坑：图结构设计依赖领域知识，且状态空间容易爆炸。解法：用有限状态机约束节点数（如<10个），并用LLM做“状态转移决策”。
- 训练范式：从根本上提升规划能力
- 指令微调（如ReAct数据集）：在训练数据中注入“思考-行动-观察”轨迹。坑：数据质量要求高——如果轨迹中有错误步骤，模型会学到“假规划”。解法：用拒绝采样（只保留最终成功的轨迹），或人工标注关键步骤（如HotpotQA多跳推理）。
- 强化学习（如RLHF + 规划奖励）：对“步骤完成率”和“最终正确率”联合奖励。trade-off：奖励设计难——只奖励最终结果会导致模型跳过中间步骤（“捷径作弊”）。解法：用过程奖励模型（PRM），对每个推理步骤打分（参考OpenAI的Let’s Verify Step by Step论文）。
- GRPO (Group Relative Policy Optimization)：DeepSeek-R1用的方法，通过组内对比优化推理策略。优势：无需人工标注奖励，适合规划场景（如数学证明）；坑：训练不稳定，需大量采样（如每步生成64条轨迹）。解法：先用CoT数据做SFT预热，再切GRPO。
总结：Prompt工程适合快速验证，外部规划器适合高可靠性场景，训练范式是终极方案但成本高。实际落地中，我倾向混合架构——用LLM做“高层分解”（如“先查资料再写报告”），用外部工具做“低层执行”（如调用API），并用PRM监控每一步质量。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从Prompt工程、外部工具、训练范式三个层面回答。Prompt层面，CoT和ReAct能快速提升推理能力，但容易假推理或陷入循环；外部工具层面，PDDL或LangGraph提供可控性，但耦合度高；训练层面，指令微调或GRPO能从根本上增强规划能力，但成本高。总结一句：没有银弹，实际中我倾向用ReAct做快速原型，用PRM监控质量，必要时引入符号规划器做兜底。”
4️⃣ 高频追问 & 应对
追问 1：ReAct和CoT有什么区别？什么时候该用哪个？
CoT是纯推理（“思考→思考”），ReAct是推理+行动（“思考→行动→观察”）。选型看任务类型：如果任务只需内部知识（如数学题），CoT更高效；如果需要外部信息（如多跳问答），ReAct更合适。坑：ReAct在工具调用失败时容易崩溃，解法是加“重试机制”和“回退到CoT”的fallback。
追问 2：你说用PRM监控规划质量，具体怎么实现？成本如何？
PRM对每个推理步骤打分（如0-1），可以用小模型（如BERT）或LLM-as-Judge。实现：训练时用“步骤正确性”标注数据（如每步是否逻辑自洽），推理时用阈值（如<0.5）触发重规划。成本：每步额外一次LLM调用，但可复用缓存。trade-off：PRM本身可能误判（如对创造性步骤打分低），解法是结合“最终结果验证”做双重检查。
追问 3：如果任务需要实时规划（如机器人导航），你的方案怎么调整？
实时场景对延迟敏感，不能用CoT（太慢）。解法：分层规划——高层用LLM做“目标分解”（如“去厨房”），低层用传统算法（如A*）做路径规划。坑：LLM的分解可能不满足物理约束（如“穿过墙壁”），解法是加“可行性检查器”（如碰撞检测）。trade-off：灵活性降低，但延迟从秒级降到毫秒级。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提CoT，说“用Prompt就能解决所有规划问题” → ✅ 必须区分场景：CoT适合短链推理，长链或开放域需要ReAct或外部工具。
- ❌ 说“用LangChain的Plan-and-Execute就够” → ✅ 指出固定计划的缺陷，强调动态重规划的重要性。
- ❌ 忽略训练范式，认为“规划只能靠Prompt” → ✅ 提到GRPO或PRM，展示对前沿方法的理解。
6️⃣ 简历呼应
- 如果你有RAG项目：从“多跳检索”切入，对比CoT和ReAct在HotpotQA上的规划成功率，强调“检索-推理”交替的坑（如重复检索）。
- 如果你只做过传统NLP：用“序列标注”类比规划——把“步骤分解”看作“序列生成”，用CRF约束步骤顺序，再迁移到LLM的CoT。
- 如果你是校招无项目：聚焦ToT论文复现，在24点游戏上对比BFS/DFS剪枝效果，展示对“搜索空间”和“评估函数”的理解。
- “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (Wei et al., 2022)
- “Tree of Thoughts: Deliberate Problem Solving with Large Language Models” (Yao et al., 2023)
- “ReAct: Synergizing Reasoning and Acting in Language Models” (Yao et al., 2023)
- “Let’s Verify Step by Step” (OpenAI, 2023) — 过程奖励模型
- “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning” (DeepSeek, 2025) — GRPO