先这样答
结论是:这套系统不会让大模型贯穿所有环节。它会先做输入预处理,再做意图路由,然后检索内容,接着生成答案,最后做后处理。真正必须用大模型的地方只有两处:复杂意图理解和最终生成。其他环节优先使用规则、小模型或检索能力。
用户输入后,系统先检查敏感词,并做注入检测。这一步使用规则。之后进入意图路由。系统用小模型做分类,把请求分到对应处理路径。遇到复杂意图时,再使用大模型理解用户真正要解决的问题。检索阶段结合向量和关键词完成,不调用大模型。拿到相关内容后,大模型负责生成最终答案。输出前还要做格式校验和安全审核,这两步同样使用规则。
这样拆分是因为不同环节的要求不同。规则适合处理明确的安全和格式约束。小模型适合完成分类。向量加关键词适合做检索。大模型只处理复杂理解和内容生成。让大模型参与所有步骤,会带来更高的成本和延迟,也会让结果更不稳定。
面试官会怎么追问
-
「为什么检索阶段不用大模型?」 检索可以用向量和关键词完成,不需要大模型参与。让大模型介入检索会增加成本和延迟,也可能带来不稳定。
-
「意图路由为什么不用大模型统一处理?」 普通意图可以由小模型完成分类。只有复杂意图需要大模型理解。这样能把大模型留给真正需要理解能力的环节。
-
「生成结果怎么保证符合要求?」 生成之后要做格式校验和安全审核。格式和安全规则由后处理环节检查,不把这些约束全部交给大模型。
回答的坑
- 把输入预处理、检索和后处理都交给大模型,会增加成本和延迟,也会让结果更不稳定。
- 只说最终用了大模型,却说不清小模型分类和规则检查,说明没有拆清真实链路。
同系列的题
—— 本题完 ——