Agent 如何决定「是否需要工具「 vs 「直接回答「
1️⃣ 考察意图
面试官想看你能否设计 Agent 的工具调用决策机制。刁钻点在于：很多人只答"让模型自己判断"，但说不出置信度阈值、规则引擎、检索增强等具体方案，以及各方案的 trade-off。答好了能展示你在 Agent 架构设计和 LLM 行为控制方面的深度。
2️⃣ 标准答
工具调用决策从"模型内省、规则引擎、检索增强、混合策略"四个层面设计：
1. 模型内省（Model Introspection）
- Function Calling 自动决策：当工具通过
tools参数传给模型时，模型内部会判断"当前问题是否需要工具"。如果模型认为自己的知识足够回答，直接输出文本；如果需要外部信息，输出tool_calls - 决策机制：模型在 RLHF 训练中学会了"何时调用工具"——当问题包含时效性信息（如"今天的天气"）、需要实时数据（如"股价"）、需要计算（如"123×456"）时，倾向调用工具
- 准确率：GPT-4o 在标准 benchmark 上约 88%——12% 的情况下会误判（该调用时不调用，或不该调用时调用）
- 优化方式：在 system prompt 中加入决策引导。例如"对于事实性问题，优先使用搜索工具；对于观点性问题，直接回答"。这可以将准确率提升到 92-95%
2. 规则引擎（Rule Engine）
- 预定义规则决定是否需要工具，而非完全依赖模型判断：关键词触发：问题包含"今天"、"最新"、"实时"→ 调用搜索工具
- 意图分类：用小模型（如 BERT）做意图分类——事实性→工具、观点性→直接回答、操作类→工具
- 知识边界：预定义模型的知识截止日期（如 2024-04），问题涉及截止日期后的事件→调用搜索 优势：可解释性强、延迟低（<10ms）、准确率可控局限：规则覆盖率有限——无法覆盖所有问题类型，长尾问题需要模型内省兜底
3. 检索增强（Retrieval-Augmented Decision）
- 先在内部知识库中检索，根据检索结果决定是否需要工具：如果检索到高置信度结果（相似度 >0.85）→ 直接用检索结果回答
- 如果检索到低置信度结果（0.5-0.85）→ 调用工具补充信息
- 如果未检索到结果（相似度 <0.5）→ 调用搜索工具 优势：比纯模型内省更准确——用数据驱动决策而非模型"猜测"实现方式：在 Agent 流程中加一步"知识检索"，用 embedding 相似度作为决策依据
4. 混合策略（Hybrid Strategy）
- 实际系统通常组合多种策略：
用户问题 → 规则引擎（快速过滤） → 命中规则：直接决策 → 未命中：模型内省 + 检索增强 → 模型判断需要工具 + 检索结果不足 → 调用工具 → 模型判断不需要 + 检索结果充分 → 直接回答 → 模型判断需要 + 检索结果充分 → 用检索结果回答（省一次工具调用） - 效果：混合策略比纯模型内省减少 30% 的不必要工具调用，同时保持 95%+ 的回答准确率
3️⃣ 答题模板（30 秒电梯版）
"工具调用决策用混合策略：第一层规则引擎——关键词触发+意图分类+知识边界，延迟<10ms快速过滤。第二层检索增强——先在知识库检索，高置信度直接回答，低置信度调用工具。第三层模型内省——Function Calling自动判断，准确率88%，用system prompt引导提升到92%。混合策略比纯模型决策减少30%不必要工具调用。总结一句：不是'让模型自己判断'而是'规则+检索+模型'三层联动。"
4️⃣ 高频追问 & 应对
追问 1：模型误判"不需要工具"但实际需要，怎么处理？
兜底机制：(1) 置信度检测——模型输出时计算 logprob，低置信度（如 <0.7）的"直接回答"自动触发工具调用。实现方式：用
logprobs=true参数获取模型输出的对数概率；(2) 事实校验——模型直接回答后，用另一个 LLM 做"事实校验"（"这个回答是否有事实依据？是否需要搜索验证？"）。如果校验失败，触发工具调用重新回答；(3) 用户反馈——UI 上提供"这个回答有帮助吗？"按钮，用户反馈"否"时自动触发工具调用重新回答
追问 2：工具调用太多会影响用户体验，怎么减少不必要的调用？
三个策略：(1) 结果缓存——相同或相似的问题，直接返回缓存的工具结果。用 embedding 相似度判断"相似"（阈值 0.92），TTL 设为 1 小时。实测可减少 40% 的重复工具调用；(2) 批量调用——多个相关问题合并为一次工具调用。例如"苹果公司的股价和财报"合并为一次
search("Apple stock price and financial report")而非两次独立调用；(3) 模型引导——在 system prompt 中明确"优先用自己的知识回答，只在必要时调用工具"。这会将工具调用率从 60% 降到 35%，同时回答准确率只下降 2%
追问 3：不同模型的工具决策能力差异大吗？
差异很大。在 AgentBench 上：(1) GPT-4o 工具决策准确率 88%，误调用率 8%，漏调用率 4%；(2) Claude 3.5 Sonnet 准确率 90%，误调用率 5%，漏调用率 5%；(3) Gemini 1.5 Pro 准确率 82%，误调用率 12%，漏调用率 6%；(4) 开源模型（如 Llama-3-70B）准确率 75%，误调用率 15%。差异来源：RLHF 训练中工具调用数据的质量和数量。Claude 在工具决策上略优于 GPT-4o，可能因为 Anthropic 在 Agent 训练上投入更多
5️⃣ 避坑 · 常见错误答法
- ❌ "让模型自己决定就行，Function Calling 会自动判断" → ✅ "纯模型决策准确率只有 88%，12% 会误判。需要规则引擎+检索增强做兜底，将准确率提升到 95%+。"
- ❌ "所有问题都调用工具更安全" → ✅ "过度调用工具增加延迟（每次+500ms-2s）和成本（每次API调用费用），还可能引入工具返回的噪声。需要精准判断何时调用。"
- ❌ "规则引擎太死板，不够智能" → ✅ "规则引擎处理高频场景（如'今天天气'→搜索），模型内省处理长尾场景。两者互补，不是替代关系。规则的可解释性和低延迟是模型内省无法替代的。"
6️⃣ 简历呼应
- 如果你有 Agent 项目：从"工具调用决策优化"切入，描述你实现的混合策略，给出优化前后的工具调用率、准确率、延迟对比数据
- 如果你只做过搜索系统：用"查询理解"迁移——搜索系统中的"是否需要召回"决策逻辑直接适用于 Agent 的"是否需要工具"决策
- 如果你是校招无项目：实现一个工具调用决策模块，对比纯模型 vs 规则+模型 vs 检索+模型三种方案的准确率和延迟
- "Tool Learning with Foundation Models" (Qin et al., 2023)
- "When to Use Tools: A Survey" (Wang et al., 2024)
- "AgentBench: Evaluating LLMs as Agents" (Liu et al., 2023)