怎么证明 Agent 项目真正上线？核心指标有哪些？

先这样答

证明 Agent 真正上线，不能只演示 Demo。要看真实流量下五个指标的基线和变化曲线。它们分别是任务成功率、首次成功率、延迟分布、单任务成本和人工接管率。只有真实用户在实际任务中持续产生数据，才能说明项目已经上线。

任务成功率看端到端结果。它回答的是任务最后有没有完成。首次成功率看用户不重试时能不能一次完成。这个指标更能反映 Agent 的实际质量。延迟要看分布，重点看 P95，不能只看均值。单任务成本要把 token 和工具调用都算进去。人工接管率反映自动化纯度。面试时，我会展示这五项指标在真实流量下的基线、上线后的变化曲线，以及指标之间的变化关系。这样证明的是实际运行结果，不是一次演示。

面试官会怎么追问

• 「为什么不能只看任务成功率？」 任务成功率只说明最后是否完成。它可能掩盖了中间重试。首次成功率能看出用户第一次执行是否成功，更能反映实际质量。两个指标要一起看。

• 「为什么延迟看 P95，不看平均值？」 平均值会掩盖一部分请求的长尾延迟。P95 能反映大多数请求中较慢的一段表现。Agent 还要关注延迟分布，不能只报一个均值。

• 「单任务成本具体怎么统计？」 统计一次任务消耗的 token 和工具调用成本。成本要按单个任务计算。这样才能观察真实流量下 Agent 的运行代价，并和任务成功率、首次成功率一起判断结果。

回答的坑

• 只展示 Demo 或少量成功案例，却没有真实流量下五个指标的基线和变化曲线。
• 把平均延迟当成核心延迟指标，或只报任务成功率而不报首次成功率。