如何评估Agent效果？有哪些关键过程指标
1️⃣ 考察意图
面试官想考察你是否具备构建Agent评估体系的系统思维，而非只背几个指标。刁钻点在于：Agent是“多步决策+工具调用”的复合系统，传统NLP的单一指标（如BLEU）完全失效。答好了能展示你区分“过程指标”与“结果指标”的能力，以及从离线模拟到在线A/B测试的工程落地经验，这是P1进阶的核心硬实力。
2️⃣ 标准答
评估Agent效果必须分层设计，核心原则是：结果指标看价值，过程指标找瓶颈。以下从三个层面展开。
一、结果指标（最终效果）
- 任务成功率（Task Success Rate）：最硬指标。定义需明确“成功”边界，例如客服Agent：用户问题是否在5轮内解决且无投诉。注意区分“部分成功”（如用户只问了A但Agent答了A+B），建议用严格匹配（完全解决）和宽松匹配（核心需求满足）双版本。
- 用户满意度（CSAT/NPS）：通过事后问卷或隐式反馈（如是否点击“有用”按钮）采集。坑：用户可能因疲劳随意打分，建议结合对话轮次加权，例如短对话（<3轮）满意度权重降低。
- 业务转化率：对电商/金融Agent，直接关联GMV或留存。例如理财Agent：用户是否完成开户或购买。注意：转化率受外部因素（如产品价格）影响，需用A/B测试隔离Agent自身效果。
二、过程指标（诊断瓶颈）
- 工具调用准确率（Tool Call Accuracy）：Agent调用API（如查询天气、发送邮件）的正确率。需区分“调用时机正确”（不该调时没调）和“参数正确”（参数格式/值无误）。例如：用户问“今天天气”，Agent调了“get_weather(city=‘北京’)”算正确，但若调了“send_email”则算误触。
- 上下文利用率（Context Utilization）：衡量Agent是否有效利用历史对话。计算方式：模型在生成回复时，对前文关键信息的注意力权重分布。低利用率通常导致重复提问或遗忘约束。实战中可用LangSmith追踪token级注意力，发现Agent忽略用户刚说的“不要推荐股票”时，需调整prompt或增加记忆模块。
- 重试次数与延迟：每次工具调用失败后的重试次数，以及端到端响应时间。例如：Agent调用数据库查询，若超时（>2s）则重试，重试>3次说明工具稳定性差。关键取舍：重试次数多虽提高成功率，但增加延迟（用户等待>5s流失率上升30%），需设置动态超时阈值（如首次2s，重试1.5s）。
- 决策路径长度（Decision Path Length）：Agent完成任务所需的步骤数。过长（如10步解决简单问题）说明规划能力弱，需优化ReAct或Plan-and-Execute策略。坑：路径短不一定好，可能Agent跳过了必要步骤（如未验证用户身份），需结合成功率校验。
三、评估方法
- 离线评估：用模拟用户（如基于历史对话的LLM模拟器）生成测试用例，覆盖正常、边界（如用户输入乱码）、恶意（如提示注入）场景。工具：LangSmith的“数据集+评估器”模式，可自动计算成功率。注意：模拟用户与真实用户分布有偏差，需定期用真实数据校准。
- 在线评估：A/B测试，对比新Agent与基线（如规则系统或旧模型）。指标需关注统计显著性（p<0.05），避免因样本量不足误判。实战坑：新Agent可能因“更啰嗦”导致用户满意度下降，但任务成功率上升，需综合看净推荐值（NPS） 平衡。
- 工具：MLflow追踪实验参数（如temperature、top_p）与指标关联，Weights & Biases可视化决策路径。关键：区分Agent自身能力与外部工具影响——工具调用失败不一定是Agent问题，可能是API返回格式错误，需在评估日志中标记“工具错误”与“Agent错误”。
实际落地的坑+解法：
- 坑：离线评估中Agent表现完美，上线后成功率骤降。解法：离线测试集未覆盖“用户中途打断”或“多轮意图漂移”场景。建议用对抗性测试（如让模拟用户故意说“等等，我改主意了”）增强鲁棒性。
- 坑：过程指标太多，团队陷入“指标优化竞赛”。解法：定义北极星指标（如任务成功率），其他过程指标仅作为诊断参考，避免过度优化单一维度（如只降低重试次数导致成功率下降）。
3️⃣ 答题模板（30秒电梯版）
“这个问题我从结果指标、过程指标、评估方法三个层面回答。结果指标关注任务成功率和业务转化率，衡量最终价值；过程指标包括工具调用准确率、上下文利用率和重试次数，用于诊断瓶颈；评估方法分离线模拟和在线A/B测试，需区分Agent自身能力与外部工具影响。总结一句：评估Agent要分层设计，结果看价值，过程找瓶颈，用模拟+线上双验证。”
4️⃣ 高频追问 & 应对
追问1：你提到上下文利用率，具体怎么计算？如果Agent总是忽略用户刚说的约束怎么办？
上下文利用率可通过计算模型在生成回复时，对前文关键token的注意力权重均值来量化。例如，用LangSmith追踪，若用户说“不要推荐股票”后，Agent回复中“股票”相关token的注意力权重<0.1，则判定利用率低。解决方法是：在prompt中显式要求“每次回复前，先总结用户最后3条约束”，或增加记忆模块（如MemGPT的递归摘要）。实战中，我曾遇到Agent忽略“只查北京天气”的约束，通过将约束写入系统消息的固定位置（如开头加粗），利用率从40%提升到85%。
追问2：离线模拟用户怎么保证质量？会不会过拟合？
保证质量的关键是：模拟用户基于真实对话历史微调（如用GPT-4生成，但需人工校验10%样本）。避免过拟合的方法是：在测试集中加入随机扰动（如插入无关问题、改变语气），并定期用线上真实数据更新模拟器。例如，我们每两周用线上1000条对话重新训练模拟器，同时保留20%的对抗性用例（如用户故意说反话）。注意：模拟用户永远无法完全替代真实用户，所以离线评估只用于筛选候选模型，最终决策依赖A/B测试。
追问3：如果工具调用准确率很高，但任务成功率低，可能是什么原因？
说明Agent的规划能力有问题，而非工具执行。例如，Agent正确调用了“查询库存”API（准确率100%），但后续没有调用“下单”API，导致用户无法购买。此时需检查决策路径：是否Agent在某个步骤“卡住”（如重复查询库存）或“跳步”（如未验证用户身份就下单）。解法：在评估日志中标记“规划错误”与“工具错误”，并增加决策路径长度指标。我曾遇到一个客服Agent，工具调用准确率95%，但成功率仅60%，发现是Agent在用户说“谢谢”后直接结束对话，未确认是否还有问题，通过增加“确认收尾”步骤，成功率提升到85%。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提结果指标（如成功率），忽略过程指标 → ✅ 必须同时给出过程指标（如工具调用准确率、重试次数），因为结果指标只能告诉你“好不好”，过程指标才能告诉你“为什么不好”。
- ❌ 说“用准确率评估Agent” → ✅ 准确率对多步决策Agent无效（如用户问“帮我订机票”，Agent可能正确查询航班但错误下单），需用任务成功率+工具调用准确率组合。
- ❌ 认为离线评估足够，忽略在线A/B测试 → ✅ 离线模拟用户与真实用户分布有偏差，必须用A/B测试验证，且需关注统计显著性（p<0.05）。
6️⃣ 简历呼应
- 如果你有RAG项目：从“上下文利用率”切入，对比RAG中检索与Agent中工具调用的评估差异，强调Agent需额外关注决策路径长度。
- 如果你只做过传统NLP：用“分类任务准确率”类比“工具调用准确率”，用“F1-score”类比“任务成功率”，强调Agent评估需引入“重试次数”等新维度。
- 如果你是校招无项目：聚焦论文复现，例如用LangSmith复现ReAct论文中的评估框架，展示对“过程指标”的理解，并给出一个模拟客服Agent的评估demo（含成功率、平均轮次、工具调用准确率）。
- 《Evaluating Large Language Model Agents: A Survey》——系统梳理Agent评估框架
- LangSmith官方文档：Datasets + Evaluators 模块——离线评估实战
- 《ReAct: Synergizing Reasoning and Acting in Language Models》——决策路径评估思路
- 《MemGPT: Towards LLMs as Operating Systems》——上下文利用率与记忆评估
- Weights & Biases Agent Evaluation Cookbook——可视化决策路径与工具调用日志