评估体系**：如何证明Agent比人工更好？如何量化优化效果
1️⃣ 考察意图
面试官想看你能否跳出“模型指标”，设计一套从业务价值出发的Agent评估体系。这不是背概念（如准确率、召回率），而是考察你如何用工程方法量化“Agent比人工好”这个模糊命题。刁钻点在于：Agent与人工的对比不是简单的A/B测试，因为任务分布、成本结构、用户预期都不同。答好了能展示你具备系统设计能力、实验方法论功底，以及对线上部署中“效果-成本-体验”三角权衡的实战理解。
2️⃣ 标准答
评估Agent的核心是定义业务指标，而非模型指标。我分三步构建体系：
第一步：定义多维度评估指标
- 任务完成率：Agent独立解决的任务占比（如客服场景中，用户问题被完全解决，无需转人工）。注意：需定义“完成”标准，例如通过用户确认或后处理日志判断。
- 用户满意度：使用1-5分评分，或NPS（净推荐值）。但Agent交互中用户可能因“非人感”而低分，需用对比实验校正：同一任务，Agent vs 人工，分别收集满意度。
- 响应时间：Agent端到端延迟（含LLM推理+工具调用），人工则取平均处理时长。Agent目标：低于人工P50（中位数）且不高于P95。
- 成本：API调用次数、token消耗、GPU算力成本 vs 人工薪资。用ROI公式：(人工成本 - Agent成本) / Agent成本，需考虑人工的培训、离职等隐性成本。
- 安全与合规：Agent输出中敏感内容（如歧视、隐私泄露）的比率，需人工抽检。
第二步：设计A/B测试与统计检验
- 任务集构建：从历史日志中抽取1000条真实任务，按难度分层（简单/中等/复杂各占30%/50%/20%），确保Agent和人工处理相同分布。
- 实验设计：采用配对设计——同一任务分别由Agent和人工处理，避免任务差异干扰。使用双尾t检验或Wilcoxon符号秩检验（非正态分布时）比较指标均值。
- 统计显著性：设定p值<0.05为显著。但注意：Agent可能在某些指标（如响应时间）显著优于人工，但在满意度上显著劣于人工，需综合权衡。
- 实际坑：人工处理时，用户可能因“有人类关怀”而给更高满意度，但Agent可能更一致。解法：引入盲测——让用户不知道是Agent还是人工，或使用后处理评分（由第三方标注员评估回答质量）。
第三步：量化优化效果与消融实验
- 消融实验：逐步移除Agent的模块（如检索、记忆、工具调用），观察指标变化。例如，移除检索模块后，任务完成率下降15%，说明检索是关键瓶颈。
- ROI分析：计算Agent部署后的净收益。例如：Agent处理了70%的任务，平均节省人工时间5分钟/任务，人工时薪50元，则每日节省成本 = 任务量 × 70% × 5/60 × 50。减去Agent的API成本（如0.01元/任务），得出ROI。
- 持续监控：建立线上看板，监控指标趋势。关键：设置漂移检测——当任务完成率连续3天下降超过5%时，触发告警并回滚模型。
工程取舍：追求高任务完成率可能牺牲用户满意度（如Agent过于机械），需设置人工兜底——当Agent置信度低于阈值（如0.7）时，自动转人工，平衡效果与体验。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，定义多维度指标，包括任务完成率、用户满意度、响应时间和成本，并引入ROI公式；第二，设计A/B测试，用配对实验和统计检验对比Agent与人工，注意盲测和任务分层；第三，通过消融实验量化优化效果，并建立线上监控看板。总结一句：评估Agent不是比模型指标，而是比业务价值，核心是‘效果-成本-体验’三角权衡。”
4️⃣ 高频追问 & 应对
追问 1：如果Agent在A/B测试中任务完成率高于人工，但用户满意度低，你怎么办？
这是典型冲突。首先，检查满意度低是否因“非人感”导致——引入盲测，让用户不知是Agent还是人工。如果盲测后满意度仍低，说明Agent回答质量有问题（如过于生硬、缺乏共情）。解法：在Agent中引入情感增强（如使用情感检测模型调整语气），或设置人工兜底（当Agent置信度低时转人工）。同时，调整指标权重：如果业务目标是效率优先，可容忍满意度略低；如果体验优先，则需优化Agent的对话风格。
追问 2：如何确保A/B测试的任务集没有偏差？
关键在任务分层和随机化。从历史日志中按难度（简单/中等/复杂）和类型（查询/投诉/退款）分层抽样，确保Agent和人工处理相同分布。使用交叉验证：将任务集随机分成5份，每份分别由Agent和人工处理，计算指标均值与方差。另外，注意时间偏差——人工处理可能受疲劳影响，需在一天内均匀分配任务。最后，用敏感性分析：改变任务分布（如增加复杂任务比例），看指标是否稳定。
追问 3：Agent上线后，如何持续监控并防止效果退化？
建立线上看板，监控核心指标（任务完成率、响应时间、成本）的日/周趋势。设置漂移检测：使用KS检验或PSI（群体稳定性指数）比较当前指标分布与基线分布。当指标异常时，触发回滚或模型重训。另外，定期（如每周）进行回归测试：用固定任务集（100条）对比当前Agent与基线版本，确保效果不下降。注意：用户行为会随时间变化，需定期更新任务集（如每月一次）。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提模型指标（如准确率、召回率），说“Agent比人工好因为准确率高” → ✅ 必须从业务价值出发，定义任务完成率、用户满意度、成本等，并说明指标间的权衡。
- ❌ 直接说“做A/B测试”，但不提任务分层、配对设计、统计检验方法 → ✅ 必须具体：用配对t检验，设定p值阈值，并考虑盲测和人工兜底。
- ❌ 认为Agent效果是静态的，上线后不用监控 → ✅ 必须强调持续监控和漂移检测，并给出具体方法（如KS检验、回归测试）。
6️⃣ 简历呼应
- 如果你有RAG项目：从“检索质量对任务完成率的影响”切入，展示你如何用消融实验量化检索模块的贡献，并对比Agent与人工在复杂查询上的表现。
- 如果你只做过传统NLP：用“分类模型评估”类比——准确率对应任务完成率，F1对应满意度，但强调Agent评估需引入时间、成本维度，并设计A/B测试。
- 如果你是校招无项目：聚焦论文复现，如“基于ReAct的Agent评估体系”，用公开数据集（如WebArena）设计实验，对比Agent与人工在任务完成率和响应时间上的差异。
- 《A Survey of Evaluation Methods for LLM-based Agents》
- 《WebArena: A Realistic Web Environment for Building Autonomous Agents》
- 《AgentBench: Evaluating LLMs as Agents》
- 《The Cost of AI: A Framework for ROI Analysis in Enterprise AI》
- 《Practical Guide to A/B Testing for AI Systems》