多模型产品（文本、语音、视频模型各有多档）怎么做统一网关和智能路由？

先这样答

网关层解决统一接入。所有业务方面向同一个内部 API，网关负责协议标准化（请求和流式返回的统一格式）、鉴权和配额（按业务线、按用户的限流）、可观测（延迟、错误率、token 消耗、成本按维度打标签落账）。多模态场景网关还要处理大文件上传、长任务的任务式接口（提交任务回执、轮询或回调取结果），和普通同步文本请求的接口形态不同，要在网关层抽象成一致的开发体验。

路由层解决「这次请求给哪个模型」。路由依据有四个维度。任务类型：闲聊和摘要用轻量模型，复杂推理和创作用旗舰模型。成本预算：每类业务有单位成本红线，路由在红线内选质量最优解。延迟要求：实时交互走快档，离线批量走慢档便宜档。质量要求：核心功能保守路由，边缘功能激进降档。路由策略从规则起步（按任务类型静态映射），逐步引入按请求难度分流的动态路由：小模型先判断难度，简单请求直接出，复杂请求升级到大模型。

路由的价值要靠数据闭环验证：全链路记录每档模型的质量指标和成本，定期校准路由表，防止降档省钱悄悄伤害质量。

面试官会怎么追问

• 「难度判断本身不就花钱吗？」 用极轻量的分类器或小模型的首几个 token 做判断，成本相对主请求忽略不计。还可以复用业务信号：消息长度、历史轮次、用户显式选择的模式，零成本分流。
• 「路由错了怎么办？」 质量兜底回退：小模型的输出过置信度和质量分类器检查，不达标自动升级大模型重答。回退率是路由的核心监控指标，回退率高说明路由表该调了。
• 「为什么任务式接口对多模态特别重要？」 视频生成动辄几分钟，同步连接撑不住。任务式接口让网关可以做队列调度、优先级抢占、失败重试，这些能力是昂贵算力的效率保障。

回答的坑

• 把网关说成单纯的 API 转发。鉴权、限流、观测、成本核算是它的主体价值。
• 路由只有规则没有闭环。没有质量指标回流的路由，降档就是盲降。