先这样答
超长任务的上下文压缩不能无差别摘要。系统必须采取分层保护策略。直接让模型总结全文容易丢失关键信息。正确的做法是先结构化抽取再压缩。系统先提取文本中的关键实体。系统接着提取已得出的结论。系统最后基于这些结构化内容生成摘要。这种做法比直接让模型总结全文丢失的信息少。
系统对不同类型的信息执行不同的保留策略。任务目标与约束属于最高优先级。系统对这部分内容永不压缩。极端情况下必须压缩。系统需要将压缩后的目标与约束展示给用户。用户确认无误后系统才能继续执行。工具结果采用按结论加来源摘要的方式处理。系统提取工具调用的最终结论。系统同时附上数据来源的摘要信息。工具返回的原始数据不放入上下文。系统将原始数据外置存储。模型需要查看细节时,系统再按需回取原始数据。
未决事项的处理需要独立出来。未决事项不能混在普通的文本段落里。系统要把未决事项单独提取出来。系统将其列成一个显式的清单。模型在执行后续任务时可以直接读取这个清单。
面试官会怎么追问
- 「为什么先结构化抽取再压缩,会比直接总结全文丢失少?」 直接总结全文属于无差别摘要。模型容易遗漏关键细节。结构化抽取强制系统先提取关键实体与结论。系统基于提取出的核心要素再生成摘要。这能确保关键信息不被丢弃。
- 「任务目标与约束如果实在太长,必须压缩怎么办?」 系统会对压缩后的目标与约束进行特殊处理。系统会将压缩后的内容展示给用户。用户可见并确认无误。系统随后才会使用这份压缩后的目标与约束。
- 「工具结果的原始数据外置存储后,模型怎么知道去哪里找?」 上下文中保留了工具结果的结论和来源摘要。模型通过来源摘要了解原始数据的存放位置。模型有时需要查看具体细节。模型根据来源摘要按需回取外置存储的原始数据。
回答的坑
- 认为所有上下文都可以交给大模型直接生成摘要。
- 忽略了任务目标和未决事项需要与普通文本区分处理。
同系列的题
—— 本题完 ——