评估体系**：如何证明 Agent 比人工更好
1️⃣ 考察意图
面试官想看的不是“Agent 比人工好”这个结论，而是你能否设计一套可复现、可量化、有统计意义的对比评估实验。这属于系统设计+工程取舍类题目，刁钻点在于：人工评估本身有噪声（主观偏差、疲劳效应），Agent 评估有幻觉和一致性陷阱。答好了能展示你懂实验设计（对照/盲测/统计检验）、懂 Agent 的边界（什么任务适合比、什么不适合），以及能用数据说服业务方落地。
2️⃣ 标准答
证明 Agent 比人工更好，核心是定义维度、设计实验、量化指标、统计验证。不能只比“快”或“准”，要分场景、控变量、算边际。
第一步：定义评估维度（至少 3 个）
- 效率：单位任务耗时（秒/任务）、吞吐量（任务/小时）、成本（API 调用费 vs 人工时薪）。Agent 在重复性任务上通常快 10-100 倍。
- 质量：准确率（如客服回答的答案正确率）、完整性（覆盖所有子问题）、一致性（同一问题多次回答的变异系数）。人工在模糊任务上可能更高，但波动大。
- 可扩展性：处理并发量（QPS）、冷启动时间（新领域训练成本）。Agent 可线性扩展，人工受限于招聘和培训周期。
第二步：设计对照实验（关键）
- 任务选择：选一个有明确 ground truth 的场景，比如 FAQ 回答（答案可预定义）。避免选开放创作类任务（如写诗），因为主观性太强。
- 控制变量：同一批测试问题（100-500 个），难度分层（简单/中等/复杂）。人工组选 3-5 个经验匹配的客服，Agent 组用同一套 RAG 系统（如 LlamaIndex + GPT-4）。
- 盲测设计：让第三方评审（非实验参与者）对答案打分，不知道来源是 Agent 还是人工。这消除“人更信任人”的偏见。
第三步：量化指标（具体可计算）
- 效率指标：平均响应时间（Agent 通常 <2 秒，人工 30-120 秒）、单位成本（Agent 每次调用 $0.01-0.05，人工 $0.5-2）。
- 质量指标：准确率（精确匹配或语义相似度，如 BERTScore）、用户满意度（1-5 分，通过 A/B 测试收集）。
- 统计检验：用双样本 t 检验（假设正态分布）或 Mann-Whitney U 检验（非正态）验证差异是否显著。p < 0.05 才算“更好”。
第四步：实际落地的坑 + 解法
- 坑 1：人工评估的噪声。不同评审员打分标准不同，导致方差大。解法：用 Cohen’s Kappa 计算评审间一致性，低于 0.6 则重新培训评审员。
- 坑 2：Agent 的幻觉问题。Agent 可能给出看似合理但错误的答案，人工不会。解法：在质量指标中加入幻觉检测率（用 NLI 模型如 DeBERTa 判断答案是否与上下文矛盾）。
- 坑 3：边际效益递减。Agent 在简单任务上碾压人工，但在复杂推理任务上可能不如。解法：按任务难度分层报告结果，不笼统说“Agent 更好”。
第五步：工程取舍
- 为什么不用单一指标？ 比如只比准确率，Agent 可能 95% vs 人工 90%，但人工在 5% 的复杂问题上完胜。需要加权综合得分（如效率权重 0.3 + 质量 0.5 + 成本 0.2）。
- 为什么需要统计检验？ 样本量小（如 50 个问题）时，差异可能是随机波动。t 检验确保结果可推广。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，定义评估维度，包括效率、质量和可扩展性，避免单一指标误导；第二，设计对照实验，控制任务难度和评审盲测，用统计检验（如 t 检验）验证显著性；第三，处理实际坑点，比如人工噪声用 Cohen’s Kappa 校准，Agent 幻觉用 NLI 模型检测。总结一句：证明 Agent 更好需要分场景、控变量、算统计，不能拍脑袋。”
4️⃣ 高频追问 & 应对
追问 1：如果任务没有 ground truth（比如写营销文案），怎么比？
用人类偏好对齐方法。设计 A/B 测试：让 10 个评审员对 Agent 和人工的文案打分（1-5 分），计算平均分和标准差。再用 Bradley-Terry 模型 拟合偏好概率，看 Agent 被选中的概率是否显著 > 0.5。注意：评审员需要是目标用户群体，避免专家偏见。
追问 2：Agent 成本低但质量差，怎么权衡？
引入 成本-效益分析。定义“单位质量成本”：总成本 / 质量得分（如准确率）。例如 Agent 成本 $100 得 80 分，人工成本 $500 得 90 分，则 Agent 单位质量成本 1.25 vs 人工 5.56，Agent 更优。如果业务要求最低质量阈值（如 85 分），则 Agent 不达标，需要混合方案（Agent 处理简单问题 + 人工兜底复杂问题）。
追问 3：怎么防止 Agent 在测试集上过拟合（比如记住答案）？
使用动态测试集。从真实用户日志中随机抽取问题，不重复使用。或者用 adversarial 测试：构造边缘案例（如拼写错误、歧义句），看 Agent 是否鲁棒。人工组也做同样测试，确保公平。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“Agent 肯定比人工好，因为快又便宜” → ✅ 正确切入：分场景讨论，比如在重复性任务上 Agent 优势明显，但在创造性任务上可能不如人工，需要具体数据支撑。
- ❌ 只比准确率，忽略效率或成本 → ✅ 正确切入：用加权综合指标，比如效率权重 0.4 + 质量 0.4 + 成本 0.2，避免单一维度误导。
- ❌ 不做统计检验，直接说“Agent 准确率 95% 高于人工 90%” → ✅ 正确切入：用 t 检验或 Mann-Whitney U 检验，报告 p 值和效应量（Cohen’s d），确保差异不是随机波动。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“客服场景对比实验”切入，展示你设计过 100 个测试问题、用 BERTScore 和 t 检验验证 Agent 优于人工的案例。
- 如果你只做过传统 NLP：用“文本分类任务”类比，比如对比 BERT 模型和人工标注的准确率，强调控制变量（相同数据集）和统计检验（卡方检验）。
- 如果你是校招无项目：聚焦“论文复现”，比如复现《Evaluating LLM Agents: A Survey》中的实验设计，用公开数据集（如 HotpotQA）做对比，展示方法论理解。
- 《Evaluating Large Language Models: A Survey》（2023）——评估方法论综述
- 《RAG vs Human: A Comparative Study on Customer Support》（2024）——具体案例
- 《Statistical Methods for Comparing Classifiers》（Dietterich, 1998）——统计检验基础
- 《Cohen’s Kappa: A Measure of Inter-Rater Reliability》——评审一致性工具
- 《Bradley-Terry Model for Pairwise Comparisons》——偏好对齐方法