评估体系（如何证明 Agent 比人工更好？）
1️⃣ 考察意图
面试官想看你能否跳出“准确率”的舒适区，设计一套能说服业务方（老板/客户）的评估体系。核心考察点：指标选择（不只看任务完成率，还要看成本、用户主观体验、长尾覆盖）、实验设计（如何做A/B测试避免污染）、成本效益分析（Agent节省的钱 vs 维护成本）。刁钻点在于：人工和Agent的对比不是简单的“谁更好”，而是“在什么场景下、花多少成本、达到什么效果”。答好了能展示系统设计、数据驱动决策和商业敏感度。
2️⃣ 标准答
评估Agent比人工更好，不能只用单一指标，必须构建一个多维度评估矩阵，覆盖效果、效率、成本和风险。以下是具体框架：
1. 定义评估维度与指标
- 任务完成率：核心指标。对客服场景，用“问题解决率”（用户是否在对话中明确说“解决了”或后续无重复提问）；对代码生成，用“代码通过率”（单元测试通过数/总测试数）。注意：Agent的完成率可能接近人工，但边界情况（如模糊需求、多轮复杂推理）是分水岭。
- 用户主观体验：用CSAT（客户满意度评分） 或NPS（净推荐值）。Agent的回复可能更标准但缺乏人情味，需设计“情感一致性”指标（如用户情绪分析，用BERT情感分类模型打分）。
- 成本效率：计算单次交互成本。人工：平均处理时间 × 时薪；Agent：API调用费（如GPT-4-turbo $0.01/1K tokens）+ 推理成本（如自部署LLaMA-3-70B的GPU成本）。实际坑：Agent在长对话中token消耗会指数级增长，需设置对话轮次上限（如最多5轮后转人工）。
- 响应速度：Agent的首字节时间（TTFB）和完整回复时间。人工通常30秒-2分钟，Agent可做到1-3秒，但需考虑网络延迟和模型推理时间。
2. 设计对比实验
- 离线评估：构建黄金数据集，包含1000-2000条真实用户问题，覆盖常见、长尾和对抗性样本（如“我要退款但订单号是乱码”）。用人工标注ground truth（任务是否完成、回复质量1-5分）。Agent跑完后计算准确率、召回率、F1，但注意：对生成式任务，用BLEU/ROUGE不靠谱，改用LLM-as-Judge（用GPT-4评估回复是否满足用户意图，一致性达0.8以上）。
- 在线A/B测试：设置对照组（纯人工） 和实验组（Agent辅助）。关键：流量分割，按用户ID哈希分桶，避免同一用户在不同组间切换导致体验不一致。指标：任务完成率、用户满意度、平均处理时间、转人工率。坑：Agent可能“假装完成”（如回复“已处理”但实际没执行），需埋点追踪后端操作日志。
3. 成本效益分析
- 直接成本：Agent替代人工后，人力成本节省 = 减少的客服人数 × 年薪。但需减去Agent的运维成本（模型更新、GPU租赁、监控系统）。
- 间接收益：响应速度提升带来的用户留存率增加（如电商场景，每快1秒转化率提升0.5%【通用知识】）。取舍：Agent在高峰时段（如双11）可弹性扩容，人工则需提前排班，这是Agent的隐性优势。
- 风险成本：Agent犯错导致的赔偿（如错误退款）或声誉损失。需设置安全护栏，如对高风险操作（退款>100元）强制转人工。
4. 实际落地的坑与解法
- 坑1：Agent在长尾问题上表现差，但人工也差。解法：用分层评估，按问题难度（简单/中等/困难）分别统计完成率，证明Agent在简单问题上碾压人工，在困难问题上接近人工。
- 坑2：用户对Agent的“机械感”不满。解法：在Agent回复中插入个性化元素（如“根据您的历史订单，我猜您需要……”），并用A/B测试验证CSAT提升。
- 坑3：成本计算忽略模型迭代。解法：将模型微调成本（如每季度一次，每次$5000）分摊到每月，计算总拥有成本（TCO）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，指标设计，不能只看任务完成率，要结合成本、用户满意度和响应速度，构建多维度矩阵。第二，实验方法，离线用黄金数据集+LLM-as-Judge评估，在线做A/B测试，注意流量分割和埋点。第三，成本效益，算人力节省和Agent运维的TCO，同时考虑风险成本。总结一句：证明Agent更好不是比谁‘准’，而是比谁在给定成本下‘更稳、更快、更省’。”
4️⃣ 高频追问 & 应对
追问 1：如果Agent在A/B测试中完成率比人工高5%，但用户满意度低10%，你怎么决策？
这是典型的效果与体验的trade-off。我会先分析用户满意度低的原因：是回复太生硬还是错误率高？如果是前者，通过情感增强（如加入道歉模板、语气调整）优化，再跑一轮A/B测试。如果优化后满意度仍低，但完成率优势明显，我会建议混合模式：简单问题全自动，复杂问题转人工，同时监控转人工率。最终决策看业务目标：如果是降本优先，接受满意度小幅下降；如果是品牌优先，则必须提升满意度。
追问 2：如何保证离线评估的黄金数据集不偏？
关键在于数据采样策略。不能只从日志中随机抽，要按问题类型分层采样：常见问题（如“查订单”）占60%，长尾问题（如“发票重开”）占30%，对抗样本（如“我要投诉但说不出原因”）占10%。标注时用多人标注+一致性校验（Kappa系数>0.8）。另外，定期更新数据集（每月一次），因为用户问题会随产品迭代变化。
追问 3：Agent的成本比人工高怎么办？
首先，算总账：人工成本包括招聘、培训、社保、加班费，Agent成本只有API和运维。通常Agent在高并发场景（如客服高峰）成本更低。其次，优化Agent：用小模型+缓存（如对高频问题用BERT分类器直接回复，不调大模型），或蒸馏（用GPT-4生成数据微调LLaMA-3-8B）。最后，分阶段部署：先替代20%简单问题，验证成本下降后再扩大。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“准确率”和“召回率”，说Agent比人工高10% → ✅ 必须区分任务类型，对生成式任务用LLM-as-Judge，对分类任务用F1，同时加入成本和用户满意度。
- ❌ 说“Agent完全替代人工” → ✅ 强调人机协作，Agent处理80%简单问题，人工处理20%复杂问题，并设计转人工机制。
- ❌ 忽略A/B测试的流量污染，说“直接上线对比历史数据” → ✅ 必须做随机分桶，控制时间、用户群体等变量，避免历史数据偏差。
6️⃣ 简历呼应
- 如果你有RAG项目：从“检索质量对Agent完成率的影响”切入，展示如何用BM25+向量检索的混合策略提升长尾问题覆盖率，并设计离线评估指标（如Recall@5）。
- 如果你只做过传统NLP：用“分类任务评估”类比，说“Agent评估就像多标签分类，但多了成本维度”，并展示如何用A/B测试框架（如Google Analytics）做实验。
- 如果你是校招无项目：聚焦“MultiWOZ数据集”的离线评估，复现一篇论文（如“Task-Oriented Dialogue Systems: Evaluation and Analysis”），并设计一个简单的成本模型（API调用次数×单价）。
- 《Evaluating Large Language Models: A Survey》（综述，涵盖LLM-as-Judge方法）
- 《A/B Testing for AI-Powered Systems: Best Practices》（博客，讲流量分割和指标设计）
- 《Cost-Effective Deployment of LLMs: A Case Study in Customer Service》（论文，含TCO计算）
- 《MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset》（数据集，用于离线评估）
- 《The Cost of Intelligence: Analyzing the Economic Trade-offs of LLM Agents》（博客，讲成本效益分析）