评估 Multi-Agent 软件开发效果的关键指标是什么
1️⃣ 考察意图
面试官想看你能否设计一个全面的评估体系，而非只看"代码能不能跑"。刁钻点在于：Multi-Agent 开发的效果不仅仅是代码质量，还包括开发效率、协作质量、人机协作效率等多维度。
2️⃣ 标准答
评估体系分四个维度：功能完成度、代码质量、开发效率、人机协作。
1. 功能完成度（做了对的事情吗？）
| 指标 | 定义 | 目标 | 测量方式 |
|---|---|---|---|
| 需求覆盖率 | 已实现需求数 / 总需求数 | >95% | PRD 验收 |
| 验收测试通过率 | 通过的验收测试 / 总验收测试 | 100% | 自动化测试 |
| 功能正确性 | 功能行为符合预期 | >90% | 人工测试 |
2. 代码质量（做得好吗？）
| 指标 | 定义 | 目标 | 测量方式 |
|---|---|---|---|
| Bug 密度 | Bug 数 / 千行代码 | <5 | Bug 追踪 |
| 测试覆盖率 | 被测试覆盖的代码行 / 总行数 | >80% | coverage 工具 |
| 代码重复率 | 重复代码行 / 总行数 | <5% | jscpd |
| 安全漏洞数 | P0 漏洞数 | 0 | SonarQube/Snyk |
| 圈复杂度 | 平均圈复杂度 | <10 | radon/eslint |
3. 开发效率（做得快吗？）
| 指标 | 定义 | 目标 | 测量方式 |
|---|---|---|---|
| 功能交付时间 | 从需求到部署的总时间 | <1天 | 时间戳 |
| 需求变更响应时间 | 从变更请求到完成修改 | <4小时 | 时间戳 |
| Agent 调用次数 | 完成一个功能所需的 LLM 调用次数 | 最小化 | 日志统计 |
| Token 消耗 | 完成一个功能消耗的 token 数 | 最小化 | API 日志 |
4. 人机协作效率（人和 Agent 配合好吗？）
| 指标 | 定义 | 目标 | 测量方式 |
|---|---|---|---|
| 人工介入次数 | 完成一个功能需要人工介入的次数 | <3 | 日志统计 |
| 人工修正比例 | 人工修改的代码行 / Agent 生成的代码行 | <15% | Git diff |
| Agent 自主完成率 | 无人工介入完成的 Task 比例 | >70% | Task 日志 |
5. 综合评估方法
- 基线对比：与纯人工开发的同类功能对比（如同一功能人工需要 3 天，Agent 团队 0.5 天）
- 趋势追踪：记录每次开发的指标，观察是否随 Agent 优化而提升
- ROI 分析：(节省的人工成本 - Agent 运行成本) / Agent 运行成本
3️⃣ 答题模板（30 秒电梯版）
"四维度评估：功能完成度（需求覆盖率>95%、验收通过率100%）、代码质量（Bug密度<5/千行、覆盖率>80%、安全漏洞0）、开发效率（交付时间<1天、变更响应<4小时）、人机协作（人工介入<3次、修正比例<15%、自主完成率>70%）。综合方法：基线对比（vs人工开发）、趋势追踪、ROI分析。核心：不只看'能不能跑'，还要看效率和人机协作质量。"
4️⃣ 高频追问 & 应对
追问 1：Agent 生成的代码 Bug 密度和人工写的比，哪个更高？
当前数据：Agent 生成的代码 Bug 密度约 8-12 个/千行，人工约 3-5 个/千行。Agent 代码 Bug 更多的原因：(1) LLM 不理解业务逻辑——可能生成语法正确但业务逻辑错误的代码；(2) 上下文不完整——Agent 可能不知道项目的隐性约定（如"所有金额用分不用元"）。但随着 prompt 优化和知识库积累，Agent 代码质量在持续提升。实践中，Agent + 人工 Review 的组合比纯人工开发的 Bug 密度更低（2-3 个/千行），因为 Agent 覆盖了更多边界 case。
追问 2：Token 消耗怎么优化？一个功能花多少 token 算合理？
以"用户注册功能"为例：PM 分析需求 5K tokens + Architect 设计 10K + Developer 编码 20K + Tester 测试 10K + Code Review 5K = 总计约 50K tokens。按 GPT-4 价格约 1.5。优化方案：(1) 用小模型做简单任务（PM 用 GPT-4o-mini，Developer 用 Claude）；(2) 减少上下文长度（只传 diff 而非全文件）；(3) 缓存中间结果（如 Architect 的设计文档缓存，避免重复生成）。合理标准：一个 CRUD 功能 <100K tokens（3），复杂功能 <500K tokens（$15）。
追问 3：怎么衡量"Agent 团队比人工开发更好"？
三维度对比：(1) 速度——Agent 团队完成一个功能 0.5 天 vs 人工 3 天，速度提升 6 倍；(2) 质量——Agent + 人工 Review 的 Bug 密度 2-3/千行 vs 纯人工 3-5/千行，质量提升 30%；(3) 成本——Agent 团队 $3/功能 vs 人工 $500/功能（按人天计算），成本降低 99%。但注意：Agent 团队的初始搭建成本高（prompt 工程、知识库建设、CI/CD 集成），需要开发 10+ 个功能才能收回初始投入。
5️⃣ 避坑 · 常见错误答法
- ❌ "只看代码能不能跑" → ✅ "功能正确性只是基础。还需要评估代码质量（Bug密度、覆盖率）、开发效率（交付时间、Token消耗）、人机协作（人工介入次数、修正比例）。"
- ❌ "Agent 开发一定比人工快" → ✅ "简单功能 Agent 更快，但复杂功能（需要深度业务理解）Agent 可能更慢——因为需要频繁人工介入纠正业务逻辑错误。Agent 的优势在'量大面广'的重复性开发。"
- ❌ "Token 消耗不重要" → ✅ "Token 是直接成本。一个功能消耗 500K tokens = $15，如果每天开发 10 个功能 = $150/天。需要持续优化 Token 效率，否则成本不可控。"
6️⃣ 简历呼应
- 如果你有 Agent 开发项目：从"效果评估体系"切入，描述你设计的四维度指标，给出 Agent 团队 vs 人工开发的对比数据
- 如果你只做过软件度量：用"DORA Metrics"类比——部署频率、变更前置时间、变更失败率、恢复时间，这些指标同样适用于 Agent 开发评估
- 如果你是校招：用 MetaGPT 开发一个简单功能，记录各维度指标，写博客分析 Agent 开发的效率和质量
- "MetaGPT: Meta Programming for Multi-Agent Collaborative Framework" (Hong et al., 2023)
- "DORA Metrics: Four Keys to DevOps Success" (Forsgren et al., 2018)
- "Evaluating AI-Assisted Software Development" (Ross et al., 2023)
本章学习完毕 ← 返回 Agent 岗面试宝典 v3 · 精华版 | 📝 建议整理错题笔记 | 🎯 标记掌握程度