多模型网关怎么按任务难度、SLA、价格和安全等级动态路由？

先这样答

多模型网关要先按任务类型粗分，再结合任务难度、用户 SLA、预算和安全等级选择模型。简单查询可以进入轻量模型，复杂推理选择更合适的模型，敏感场景则必须遵守指定模型的规则。

实现上先用规则处理安全要求。敏感场景直接强制指定模型，不让后续选择覆盖安全约束。难度判断可以交给小模型分类器，先判断请求属于哪类任务，再进入对应路由范围。

在候选模型范围内，网关实时权衡价格和延迟，并结合用户 SLA 与预算做选择。主模型超时后，走降级链切换备用模型。网关还要按路由维度记账，把成本归属到调用方，方便比较不同路由的实际消耗。这个方案的重点是先保证任务类型和安全等级，再在满足 SLA 的前提下控制价格。

面试官会怎么追问

• 「为什么不直接用一个大模型处理所有请求？」 大模型不一定适合所有任务。简单查询可以按任务类型进入更合适的模型，复杂推理再选择对应模型。这样才能同时考虑用户 SLA 和预算。

• 「难度判断为什么交给小模型，而不是写死规则？」 规则适合处理明确的安全约束。任务难度需要先分类，小模型分类器可以作为路由前置判断，再让网关在候选模型中选择。安全场景仍然由规则强制指定模型。

• 「主模型超时后，降级会不会影响用户 SLA？」 网关需要预先配置降级链。主模型超时后切备用模型，优先保证请求继续处理。路由记录还要按维度记账，便于核对这次选择带来的价格和延迟。

回答的坑

• 不能只说按价格最低的模型路由，否则会漏掉任务难度、用户 SLA 和安全等级。
• 不能把敏感场景交给动态打分决定，安全规则必须先行并强制指定模型。