任务成功率、步骤正确率、工具成功率和答案质量怎么做分层归因？

先这样答

分层归因要采用自下而上的排查路径。开发者必须让每一层具备独立可测性。只有单独测试每一层，才能准确定位问题到底坏在哪一层。如果只看端到端的任务成功率，开发者面对失败案例会完全无从下手。

指标体系需要自下而上建立。第一层是工具成功率。它属于调用层。这通常是一个工程问题。第二层是步骤正确率。它属于规划层。开发者需要把中间步骤和标准进行对照。第三层是答案质量。它属于生成层。这里主要考察模型输出的忠实度等指标。第四层是任务成功率。它代表最终的端到端表现。

实际归因排查必须从最底层查起。如果工具经常调用失败，开发者不要去怪罪模型。如果工具没问题但规划出错，开发者再去排查提示词与上下文。如果前两层都正确但最终答案质量差，开发者需要检查生成阶段的逻辑。每一层单独测试通过后，再去评估上一层的表现。

面试官会怎么追问

• 「为什么不能只看端到端的任务成功率？」 端到端数字掩盖了具体的错误原因。如果只看这个数字，开发者无法分辨是工程接口坏了还是模型规划错了。分层归因才能定位到底坏在哪一层。每层单独可测是修复问题的前提。

• 「排查工具成功率时，为什么要强调这是工程问题？」 工具调用失败往往是因为接口超时或网络异常。这些问题与模型的推理能力无关。开发者如果把工程问题归咎于模型，就会浪费时间去修改提示词。从底层查起可以避免这种方向性错误。

• 「规划层的步骤正确率具体怎么衡量？」 开发者需要准备包含标准步骤的测试集。测试时将模型的中间步骤与标准进行对照。如果步骤出错，开发者再去查提示词与上下文。

回答的坑

遇到错误直接去修改提示词，忽视了底层工具调用的工程稳定性。

混淆生成层的答案忠实度与规划层的步骤正确率，导致归因混乱。