多模态 Agent 的 Tool Use 和纯文本 Agent 有什么不同
1️⃣ 考察意图
面试官想看你能否从"工具类型"、"输入输出格式"、"调用决策"三个维度分析多模态 Agent 与文本 Agent 的差异。刁钻点在于：很多人只答"多了图片处理工具"，但说不清多模态工具的输入输出格式如何影响 Agent 的推理流程，以及多模态 Agent 的"工具选择决策"比文本 Agent 复杂在哪里。答好了能展示你对多模态 Agent 系统设计的实战理解。
2️⃣ 标准答
多模态 Agent 的 Tool Use 与纯文本 Agent 有三个本质差异：
1. 工具类型扩展
纯文本 Agent 的工具主要是文本处理类（搜索引擎、数据库查询、代码执行）。多模态 Agent 额外需要：
- 图像生成工具：DALL-E 3、Stable Diffusion、Midjourney API。输入文本描述，输出图像 URL/Base64
- 图像理解工具：OCR（PaddleOCR/Tesseract）、目标检测（YOLO/DETR）、图像分割（SAM）、人脸识别。输入图像，输出结构化文本（如
[{"class": "person", "bbox": [10, 20, 100, 200]}]） - 视频处理工具：视频帧提取、视频摘要、动作识别。输入视频 URL，输出关键帧或文本描述
- 音频处理工具：语音识别（Whisper）、语音合成（TTS）、音频分类。输入音频文件，输出文本或音频
- 文档理解工具：PDF 解析（MinerU/LayoutLMv3）、表格提取、图表理解。输入文档，输出结构化数据
2. 输入输出格式复杂度
纯文本 Agent 的工具输入输出都是字符串。多模态 Agent 的工具需要处理多种格式：
- 输入格式：工具参数可能包含图像 URL（如
generate_image(prompt="...", size="1024x1024")）、Base64 编码的图像数据、视频文件路径。Agent 需要管理多模态数据的传递 - 输出格式：工具返回可能是图像（如 DALL-E 生成的图片）、结构化 JSON（如 OCR 返回的文字和位置）、或混合格式（如文档解析返回文本+表格+图片）。Agent 需要解析不同格式的返回值，并决定是否需要进一步处理
- 实际落地的坑：图像 Base64 数据很大（一张 1024×1024 PNG 约 2MB），直接放在 LLM 的上下文中会超出 token 限制。解法：用引用而非内联——工具返回图像 URL 或 ID，Agent 在后续步骤中按需加载
3. 调用决策复杂度
纯文本 Agent 的工具选择决策基于"任务语义"——用户问天气就调用天气 API。多模态 Agent 的工具选择还需要判断"是否需要视觉工具"：
- 模态判断：用户说"帮我分析这张图"，Agent 需要判断是用内置 VLM 直接理解，还是调用外部 OCR/检测工具。如果图中有文字，可能需要 OCR；如果需要识别物体位置，可能需要目标检测
- 工具链组合：多模态任务通常需要"工具链"而非单一工具。例如"分析这份 PDF 中的表格数据"→ 先调用 PDF 解析工具提取表格 → 再调用数据分析工具处理数据 → 最后调用图表生成工具可视化结果
- 错误恢复：多模态工具的失败模式更多样——OCR 可能识别错误、目标检测可能漏检、图像生成可能不匹配描述。Agent 需要检测工具输出质量并决定是否重试或换用其他工具
多模态 Agent 工具链示例：
用户："分析这张产品截图中的问题"**→ Agent 步骤1：调用 OCR 工具提取截图中的文字 → Agent 步骤2：调用目标检测工具识别 UI 元素位置 → Agent 步骤3：调用 VLM 理解截图整体布局 → Agent 步骤4：综合 OCR + 检测 + VLM 结果，分析问题 → Agent 步骤5：调用截图标注工具在原图上标注问题区域 → Agent 步骤6：生成分析报告（文本+标注图）
3️⃣ 答题模板（30 秒电梯版）
"多模态 Agent Tool Use 和文本 Agent 三个区别。第一，工具类型扩展——多了图像生成/理解、OCR、目标检测、视频/音频处理、文档理解等工具。第二，输入输出格式复杂——参数可能包含图像 URL/Base64，返回可能是结构化 JSON 或混合格式，需要管理多模态数据传递。第三，调用决策复杂——需要判断'是否需要视觉工具'，多模态任务通常需要工具链（OCR→检测→VLM→标注）而非单一工具。核心挑战是多模态数据的格式管理和工具链编排。"
4️⃣ 高频追问 & 应对
追问 1**：Agent 怎么判断用内置 VLM 还是调用外部 OCR 工具？
判断逻辑：(1) 任务类型——如果用户问"图中有什么"，用内置 VLM 直接理解；如果问"图中的文字是什么"，需要 OCR（VLM 在密集文字上准确率低）；(2) 精度需求——VLM 的 OCR 能力在 TextVQA 上约 58% 准确率，专业 OCR（PaddleOCR）可达 95%+。需要高精度时调用外部 OCR；(3) 延迟预算——VLM 推理约 500ms，OCR 约 100ms。延迟敏感时优先用 OCR。实际实现：在 system prompt 中定义工具选择规则（如"如果图中包含密集文字，优先调用 OCR 工具"），或用路由模型做工具选择。
追问 2：多模态工具链怎么编排？有没有现成的框架？
现成框架：(1) LangChain MultiModal——支持图像/视频工具的链式调用，用
MultiModalChain编排；(2) LlamaIndex MultiModal——支持文档理解工具链（PDF→表格→分析）；(3) AutoGen MultiModal——支持多 Agent 协作处理多模态任务。编排策略：(1) 顺序执行——OCR→检测→VLM，按依赖顺序执行；(2) 并行执行——OCR 和目标检测可以并行，最后汇总结果；(3) 动态路由——根据上一步结果决定下一步工具（如 OCR 返回空→改用 VLM 描述图像）。挑战：多模态工具的延迟差异大（OCR 100ms vs. VLM 500ms vs. 图像生成 5s），需要合理的超时和降级策略。
追问 3：图像 Base64 在工具间传递会不会有性能问题？
会有问题。一张 1024×1024 PNG 的 Base64 约 2MB，在工具链中传递多次会导致：(1) 内存爆炸——5 个工具各缓存一份就是 10MB；(2) 序列化开销——Base64 到 JSON 的序列化/反序列化耗时；(3) 上下文污染——如果 Base64 数据进入 LLM 上下文，会消耗大量 token。解法：(1) 引用传递——工具间只传图像 URL 或文件路径，按需加载；(2) 对象存储——图像上传到 S3/OSS，工具间传 URL；(3) 内存共享——在同一进程中用共享内存（如 Redis）传递图像对象。最佳实践：工具返回 URL 而非 Base64，LLM 上下文中只放 URL 字符串不放图像数据。
5️⃣ 避坑 · 常见错误答法
- ❌ "多模态 Agent 就是文本 Agent 加了图片处理工具" → ✅ "不仅是工具类型扩展，更核心的是输入输出格式复杂度（多模态数据管理）和调用决策复杂度（模态判断+工具链编排）的质变。"
- ❌ "VLM 足够强，不需要外部 OCR/检测工具" → ✅ "VLM 在通用视觉理解上强，但在密集 OCR（58% vs. 95%）、精确定位（VLM 只给文本描述不给坐标）、高分辨率处理（VLM 限制 448×448）上不如专业工具。多模态 Agent 的价值在于'VLM + 专业工具'的组合。"
- ❌ "图像 Base64 直接传给 LLM 处理就行" → ✅ "Base64 数据太大（2MB/张），会消耗大量 token 和内存。应该用 URL 引用传递，LLM 上下文中只放 URL 字符串，工具按需加载图像。"
6️⃣ 简历呼应
- 如果你有多模态 Agent 项目：从"工具链编排"切入，描述你设计的多模态工具链（如 PDF→OCR→表格提取→数据分析→图表生成），给出端到端延迟和准确率数据
- 如果你只做过文本 Agent：用"工具链编排"迁移——文本 Agent 的工具链（搜索→摘要→生成）和多模态工具链（OCR→检测→VLM→标注）在编排逻辑上是同构的，额外需要的是多模态数据格式管理
- 如果你是校招无项目：用 LangChain 搭建一个多模态 Agent，实现"上传截图→OCR提取文字→目标检测识别UI元素→VLM分析布局→生成问题报告"的工具链，写一篇博客
- "HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face" (Shen et al., 2023)
- "TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs" (Liang et al., 2023)
- "LangChain MultiModal Documentation" (LangChain, 2024)