一次 Agent 任务怎么控制 Token、模型、检索和工具的总成本？

先这样答

控制 Agent 任务成本的核心是先计量后控制。系统需要把预算严格挂在任务维度。这样做能保证系统在单任务超支时精确止血。

系统首先要做到每任务精确记账。开发者需要按执行环节拆解消耗。系统记录每个步骤的 Token 消耗量。系统记录模型的调用次数。系统记录检索次数。系统记录外部工具的开销。这些记账数据是后续控制成本的基线。

系统接着执行四种控制手段。第一种是分级路由。系统把简单的步骤交给小模型处理。第二种是上下文压缩。系统对对话历史进行瘦身。系统也对工具返回的结果进行瘦身。第三种是缓存。系统利用前缀缓存复用公共提示词。系统也建立结果缓存来应对重复查询。第四种是预算熔断。系统为每个任务设定成本上限。任务执行超支会触发熔断。系统此时执行降级策略或直接中止任务。

面试官会怎么追问

• 「为什么要把预算挂在任务维度而不是全局维度？」 全局维度无法防范异常任务。Agent 陷入死循环会快速消耗整体配额。任务级预算能把损失隔离在单次请求内。系统通过任务级熔断精确止血。

• 「上下文压缩主要针对哪些内容瘦身？」 系统主要压缩两部分内容。第一部分是历史对话。第二部分是外部工具返回的结果。系统通过瘦身减少传递给模型的 Token 数量。

• 「分级路由怎么降低模型调用成本？」 系统按步骤难度拆分任务。系统把简单的步骤分配给小模型执行。系统保留大模型处理复杂环节。这种组合降低了单次任务的总开销。

回答的坑

第一，只谈模型降级或缓存，忽略了先按环节拆解记账这个前提。 第二，把预算熔断的粒度答成全局级别，没有强调任务维度的精确止血。