多个工具都能回答同一问题时，怎么训练或评测模型的工具选择？

先这样答

解决多工具选择问题，核心是训练时不惩罚合理选择，评测时统计分布与成本。

在训练侧，标注数据是关键。我们要为同一个多工具可达的任务构造多条正例。只要不同工具各自能完成任务，它们就都成立。模型学习这些数据时，能知道多条路径都是通的。标注人员只惩罚明显劣质的路径。劣质路径主要指调用成本高或者返回结果错的情况。这种多正例的构造方式能避免模型过拟合到单一工具。模型遇到相似问题时，就不会死板地只调某一个特定工具。它会保留选择其他合适工具的概率。

在评测侧，我们需要固定一套测试题集。我们在固定题集上运行模型，统计它对不同工具的选择分布情况。接着，我们要计算模型选中特定工具后的任务成功率。我们还要计算模型走完这条路径消耗的总成本。通过分析这三个指标，我们可以判断模型的选择逻辑。我们要观察模型是根据具体场景灵活选择工具，还是习惯性地只用同一个工具。如果模型习惯性单用某个工具，评测数据就能直接暴露这个问题。

面试官会怎么追问

• 「具体怎么在训练数据里体现不惩罚合理选择？」 我们在微调数据中放入同一个问题的多个回答版本。每个版本使用不同的有效工具完成任务。模型在训练时会学习这些不同的正确路径。这样模型能学到多种工具都能解决该问题。

• 「评测时发现模型习惯性只用一个工具，怎么确认这是个问题？」 我们对比该工具与其他可用工具的成功率与成本。如果习惯性选择的工具调用成本更高，或者任务成功率更低，就说明模型选择逻辑有误。这代表模型没有根据具体场景做判断。

• 「怎么在训练中惩罚成本高或结果错的劣质路径？」 我们在训练集中将劣质路径构造为负例。模型学习时会降低生成这些劣质路径的概率。这要求标注人员提前识别出高成本或错误的工具调用。标注人员需要把这些调用明确标记出来。

回答的坑

• 认为每个问题只能有一个标准答案工具，导致训练数据单一化并引发模型过拟合。
• 评测时只看最终任务是否成功，忽略了统计工具选择分布与调用成本。