Agent 生成的代码如何保证质量

Agent 生成的代码如何保证质量

1️⃣ 考察意图

面试官想看你能否设计一个多层次的代码质量保障体系。刁钻点在于：很多人只答"写测试用例"，但说不出沙箱执行、人工审核、回归测试等更深层的质量保障措施，以及如何量化代码质量。

2️⃣ 标准答

代码质量保障采用"测试+沙箱+审核+回归"四层防线，每层覆盖不同维度的质量问题。

1. 自动化测试（Developer Agent 生成）

• 单元测试：每个函数必须有对应的测试用例，覆盖率目标 >80%。Developer Agent 在生成代码时同时生成测试
• 边界测试：针对边界条件（空输入、超长输入、非法格式）生成专门测试
• Mock 测试：对外部依赖（数据库、API）用 Mock 隔离，确保测试可重复
• 工具：pytest（Python）、Jest（JS/TS）

2. 沙箱执行（自动验证）

• 在 Docker 容器中运行生成的代码，捕获运行时异常（如内存泄漏、段错误）
• 限制资源（CPU 2核、内存 2G、超时 30s），防止恶意代码消耗资源
• 网络隔离——只允许访问测试数据库和白名单 API

3. 人工审核（关键模块）

• P0 模块（认证、支付、数据处理）的代码必须经过人工 Code Review
• 人工审核重点：业务逻辑正确性（Agent 可能不理解业务规则）、安全设计（如密码加密方案选择）
• 审核标准：遵循项目的 Code Review Checklist

4. 回归测试（持续保障）

• 每次代码提交触发 CI 流水线，运行全量测试套件
• 测试结果趋势监控——如果测试通过率从 95% 降到 90%，自动告警
• A/B 测试——新代码先部署到 1% 流量，观察错误率后再全量

5. 质量量化指标

3️⃣ 答题模板（30 秒电梯版）

"四层防线：自动化测试（单元+边界+Mock，覆盖率>80%）→沙箱执行（Docker隔离，捕获运行时异常）→人工审核（P0模块必须人工Review）→回归测试（CI全量测试+A/B部署）。量化指标：覆盖率>80%、Bug密度<5/千行、重复率<5%、圈复杂度<10、安全漏洞0个P0。核心：Agent生成的代码默认不信任，必须经过多层验证才能上线。"

4️⃣ 高频追问 & 应对

追问 1：Agent 生成的测试用例质量怎么保证？会不会"自己测自己"不严格？

三个措施：(1) 测试用例由不同 Agent 生成——Developer 写代码，Tester Agent 独立写测试，避免"自己测自己"；(2) 变异测试——人为修改代码（如把 > 改成 >=），检查测试是否能检测到。如果测试通过说明测试不够严格；(3) 人工抽检——抽样 10% 的测试用例人工审核，检查是否覆盖了关键路径和边界条件。

追问 2：沙箱执行发现不了什么问题？

沙箱执行主要发现运行时异常（崩溃、超时、资源泄漏），但发现不了：(1) 业务逻辑错误——代码不崩溃但逻辑错误（如计算折扣用错了公式）；(2) 数据一致性——多个操作间的数据不一致（如转账时只扣了发送方没加接收方）；(3) 性能退化——功能正确但比之前慢 10 倍。这些需要业务测试和性能基准测试补充。

追问 3：代码覆盖率 80% 够吗？剩下的 20% 怎么办？

80% 是实用目标——100% 覆盖率成本太高且收益递减。剩下 20% 通常是：(1) 错误处理路径（如网络超时、数据库断连）——用 Chaos Engineering 模拟故障测试；(2) UI 交互代码——用 E2E 测试（如 Playwright）覆盖；(3) 配置代码——用配置审查覆盖。关键是确保 80% 覆盖的是"核心业务逻辑"而非"getter/setter"。

5️⃣ 避坑 · 常见错误答法

• ❌ "Agent 生成的代码质量很高，不需要额外测试" → ✅ "Agent 生成的代码可能有隐性 Bug（如边界条件遗漏、安全漏洞）。必须经过测试+沙箱+审核多层验证。"
• ❌ "测试覆盖率 100% 就没问题了" → ✅ "100% 覆盖率只说明每行代码都被执行过，不说明逻辑正确。还需要变异测试、边界测试、性能测试等补充。"
• ❌ "Agent 可以自动修复所有 Bug" → ✅ "Agent 可以修复自动化测试发现的 Bug，但业务逻辑错误和安全设计问题需要人工判断。Agent 是辅助而非替代。"

6️⃣ 简历呼应

• 如果你有代码质量项目：从"质量保障体系"切入，描述你实现的多层验证流程，给出 Bug 密度和测试覆盖率数据
• 如果你只做过测试：用"测试金字塔"类比——单元测试是基础、集成测试是中层、E2E 是顶层，Agent 生成的代码需要同样遵循测试金字塔
• 如果你是校招：用 GPT-4 生成一个 Python 模块，用 pytest 测试覆盖率分析，找出未被测试的代码路径，写博客分析
• "Software Testing with Large Language Models" (Schäfer et al., 2023)
• "CodeT: Code Generation with Generated Tests" (Chen et al., 2022)
• "Coverage-Guided LLM Testing" (Lemieux et al., 2023)