先这样答
结论是,离线 Agent 要按能力分级设计,不能假装在无网时仍然全能。系统需要明确哪些能力可以离线使用,哪些能力必须依赖云端,哪些能力在断网时直接不可用。
端侧放一个量化基座的小模型,负责常用问答和基础工具。这样即使没有网络,用户仍能完成高频、基础的任务。本地再准备知识库,提前下载高频文档,让模型在离线时仍能查到常用内容。两者共同承担离线场景下的主要请求。
云端能力需要提前做降级清单。清单要写明无网时哪些功能不可用,并直接提示用户,避免用户把失败误认为模型能力不足。恢复联网后,再增量同步记忆与知识,让本地状态逐步跟上云端。设计重点不是让所有功能都勉强运行,而是把可用能力、不可用能力和恢复后的同步方式说明白。
面试官会怎么追问
-
「为什么不直接把云端大模型完整搬到端侧?」 端侧可以使用量化基座的小模型,但离线设计的重点不是复制全部云端能力。应先保证常用问答和基础工具可用,再明确其他能力在无网时不可用。
-
「离线时模型回答需要依赖哪些本地数据?」 可以准备本地知识库,并提前下载高频文档。这样常见问题可以在本地检索相关内容,不必每次都等待网络。联网后再增量同步知识。
-
「网络恢复后,离线期间产生的状态怎么处理?」 联网后增量同步记忆与知识。同步的目标是让离线期间形成的本地状态逐步与云端保持一致,不需要把所有内容重新完整同步。
回答的坑
-
只说“部署一个端侧小模型”不够,还要说明本地知识库和高频文档如何承接离线请求。
-
不能承诺无网时所有功能都可用,必须给出云端能力降级清单并提示用户。
同系列的题
—— 本题完 ——