五厂面经真题集百度面经高频百度真题Agent架构成本意识速答 · 约 5 分钟更新 2026-09-29

从用户输入到最终输出,你这套系统的真实链路是什么?哪些环节必须用大模型?

一句话结论

链路按规则、分类、检索、生成、审核拆开,只有复杂意图理解和最终生成用大模型,其余用规则、小模型或检索,控制成本、延迟和稳定性。

先这样答

结论是:这套系统不会让大模型贯穿所有环节。它会先做输入预处理,再做意图路由,然后检索内容,接着生成答案,最后做后处理。真正必须用大模型的地方只有两处:复杂意图理解和最终生成。其他环节优先使用规则、小模型或检索能力。

用户输入后,系统先检查敏感词,并做注入检测。这一步使用规则。之后进入意图路由。系统用小模型做分类,把请求分到对应处理路径。遇到复杂意图时,再使用大模型理解用户真正要解决的问题。检索阶段结合向量和关键词完成,不调用大模型。拿到相关内容后,大模型负责生成最终答案。输出前还要做格式校验和安全审核,这两步同样使用规则。

这样拆分是因为不同环节的要求不同。规则适合处理明确的安全和格式约束。小模型适合完成分类。向量加关键词适合做检索。大模型只处理复杂理解和内容生成。让大模型参与所有步骤,会带来更高的成本和延迟,也会让结果更不稳定。

面试官会怎么追问

  • 「为什么检索阶段不用大模型?」 检索可以用向量和关键词完成,不需要大模型参与。让大模型介入检索会增加成本和延迟,也可能带来不稳定。

  • 「意图路由为什么不用大模型统一处理?」 普通意图可以由小模型完成分类。只有复杂意图需要大模型理解。这样能把大模型留给真正需要理解能力的环节。

  • 「生成结果怎么保证符合要求?」 生成之后要做格式校验和安全审核。格式和安全规则由后处理环节检查,不把这些约束全部交给大模型。

回答的坑

  • 把输入预处理、检索和后处理都交给大模型,会增加成本和延迟,也会让结果更不稳定。
  • 只说最终用了大模型,却说不清小模型分类和规则检查,说明没有拆清真实链路。
—— 本题完 ——