先这样答
云端大模型不可用时,要按等级切换降级链路,先保证核心问答和高频简单查询可用。主模型故障后,先切到备用区域或备用模型。备用也不可用时,再切到本地小模型。小模型重点保留核心问答。最后用规则和 FAQ 模板兜底。
降级时不能只替换模型,还要同时收缩功能范围。多步规划等复杂任务可以暂时砍掉,保留用户最常用的简单查询。降级链路平时要做流量演练,确认切换真的能运行。降级模式也要对用户可见,让用户知道当前能力受限。数据链路必须同步降级,不能模型已经切到本地,检索还继续调用云上服务。这样才能在云端不可用时保住基本功能。
面试官会怎么追问
-
「为什么不直接全部切到本地小模型?」
本地小模型适合保核心问答,不一定适合承接复杂任务。先经过备用区域或备用模型,可以减少能力下降,再把本地小模型作为后续降级层。 -
「降级后,哪些功能应该优先保留?」
优先保留高频、简单的查询,以及核心问答。多步规划等复杂任务可以在降级期间暂时停止。 -
「怎么证明这条降级链路真的可用?」
平时要做流量演练,实际验证主模型故障后的分级切换。演练还要覆盖本地小模型、规则和 FAQ 模板,以及同步降级的数据链路。
回答的坑
- 只说切本地小模型,不说备用区域、备用模型、规则和 FAQ 模板的分级顺序。
- 只降模型却继续调用云上检索,或不说明降级模式要对用户可见。
同系列的题
—— 本题完 ——