单轮Working Memory的输入压缩和观察抽象技术有哪些
1️⃣ 考察意图
面试官想评估你对 Agent 系统“感知-记忆”瓶颈的实战理解，而非单纯背诵算法列表。核心考察点：能否区分“压缩”（减少 token 量）与“抽象”（提取语义结构）两种技术路线，并给出工程取舍。刁钻点在于：单轮 Working Memory 容量有限（如 4K token），但原始观察可能包含冗余、噪声或长尾信息。答好了能展示你对 LLM 输入窗口的敏感度、对信息保真度与计算开销的权衡能力，以及根据任务类型动态选择策略的系统设计思维。
2️⃣ 标准答
输入压缩技术：减少 token 量，保留语义
- 摘要式压缩：用 LLM 或专用摘要模型（如 Pegasus、LongT5）将长文本（如网页 HTML、日志）压缩为 1-3 句摘要。为什么这么做：直接截断会丢失关键信息，摘要能保留核心语义。坑：摘要可能引入幻觉，且计算开销高（一次摘要调用 ≈ 0.5 秒）。解法：对低风险观察（如系统日志）用轻量模型（如 DistilBART），对高风险观察（如用户指令）用 GPT-4 级模型。
- 编码器压缩：用预训练编码器（如 BERT、Sentence-BERT）将输入映射为固定长度向量（如 768 维），直接存入 Working Memory。为什么这么做：向量化后 token 量从 4K 降到 1，适合快速检索。坑：向量丢失细粒度信息（如数字、时间戳），且无法直接用于 LLM 推理（需解码或拼接）。解法：对数值敏感任务（如金融交易）保留原始 token 副本，向量仅用于索引。
- 关键句提取：用 TF-IDF、TextRank 或 LLM 指令提取 Top-K 关键句（如 K=5）。为什么这么做：比摘要更保真（不生成新内容），计算成本低。坑：提取可能遗漏跨句推理所需信息（如因果链）。解法：结合实体链接（如 spaCy NER）确保关键实体被覆盖。
观察抽象技术：提取结构化表示，提升推理效率
- 知识图谱三元组：用关系抽取模型（如 REBEL、OpenIE）将观察转为 (实体, 关系, 实体) 三元组。为什么这么做：结构化表示让 LLM 直接进行图推理（如“用户 A 购买了商品 B” → 推荐相关商品 C）。坑：三元组可能稀疏（如长文本仅提取 3-5 个），且关系类型需预定义。解法：对开放域任务用无监督抽取（如 OpenIE），对垂直领域（如医疗）用微调模型（如 BioBERT）。
- 事件抽取：用事件检测模型（如 DyGIE++、OneIE）提取事件类型、触发词、论元（如“购买事件：用户 A，商品 B，时间 2024-01-01”）。为什么这么做：事件结构比三元组更丰富（含时间、地点），适合时序推理。坑：事件抽取依赖高质量标注数据，且对长尾事件（如“用户取消订阅”）召回低。解法：用 LLM 做零样本事件抽取（如 prompt “提取所有事件，格式为 [类型, 主体, 客体, 时间]”），但需控制输出格式。
- 状态机抽象：将观察映射为预定义状态（如“用户意图：购买”、“系统状态：错误”）。为什么这么做：状态机将连续观察离散化，大幅降低 Working Memory 负载（从 4K token 到 1 个状态 ID）。坑：状态定义需领域专家设计，且无法覆盖未预定义场景。解法：用 LLM 动态生成状态（如“当前状态：用户正在比较商品 A 和 B”），但需限制状态数量（如 ≤ 10 个）。
工程取舍：保真度 vs. 计算开销 vs. 容量
- 保真度：摘要 > 关键句 > 向量（保真度递减）；三元组 > 事件 > 状态（抽象度递增）。
- 计算开销：摘要（高） > 事件抽取（中） > 向量编码（低）；状态机（低） > 三元组（中）。
- 容量匹配：Working Memory 容量固定（如 4K token），需动态调整压缩率。实战建议：对高优先级观察（如用户最新指令）用低压缩（摘要），对低优先级观察（如历史日志）用高压缩（向量或状态机）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从输入压缩和观察抽象两个层面回答。压缩层面，主要用摘要式压缩、编码器压缩和关键句提取，核心取舍是保真度 vs 计算开销；抽象层面，用知识图谱三元组、事件抽取和状态机，核心取舍是结构化程度 vs 领域适配性。总结一句：单轮 Working Memory 的输入处理没有银弹，需根据任务类型（如数值敏感 vs 语义推理）动态选择压缩或抽象策略。”
4️⃣ 高频追问 & 应对
追问 1：你提到摘要式压缩可能引入幻觉，如何在实际系统中检测和缓解？
检测：用事实一致性模型（如 FactCC、SummaC）对摘要进行评分，阈值设为 0.8（低于则丢弃）。缓解：① 对高风险观察（如用户支付指令）禁用摘要，改用关键句提取；② 在 prompt 中强制要求“仅从原文提取，不生成新信息”，并添加“若不确定，返回原文片段”；③ 用对比解码（如 DoLa）减少幻觉。实战中，幻觉率可从 15% 降到 3%。
追问 2：如果 Working Memory 容量只有 2K token，但原始观察有 10K token，你会怎么设计压缩流程？
分两步：① 用关键句提取（TextRank）将 10K 压缩到 3K（保留 Top-10 句子），计算成本低（<100ms）；② 用摘要模型（如 LongT5）将 3K 压缩到 2K，但只对高优先级部分（如用户指令）做摘要，其余用向量编码（768 维）存储。这样保真度与容量平衡。坑：两步压缩可能累积误差，需在每一步后做质量检查（如句子覆盖度 > 80%）。
追问 3：状态机抽象需要预定义状态，如何应对开放域任务（如客服对话）？
用 LLM 动态生成状态，但需约束：① 状态数量 ≤ 10 个，避免爆炸；② 状态命名用自然语言（如“用户正在抱怨物流”），而非数字 ID；③ 状态转移用规则（如“用户提到‘退货’ → 状态变为‘退货流程’”）+ LLM 兜底（如“无法匹配规则时，让 LLM 推断状态”）。实战中，动态状态机比预定义状态机在开放域任务上成功率提升 20%。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“用 LLM 做摘要”作为唯一压缩方法 → ✅ 区分摘要、向量编码、关键句提取，并给出各自适用场景（如向量编码适合检索，摘要适合推理）。
- ❌ 认为抽象技术（如三元组）一定优于压缩技术 → ✅ 指出抽象技术依赖领域知识（如关系类型预定义），在开放域任务中可能不如压缩技术灵活。
- ❌ 忽略计算开销，只谈保真度 → ✅ 给出具体数字（如摘要调用耗时 0.5 秒，向量编码 50ms），并说明如何根据任务优先级动态选择。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索-压缩”角度切入，对比 RAG 中检索结果压缩（如 LLMLingua）与 Working Memory 压缩的异同，强调 RAG 侧重相关性，Working Memory 侧重保真度。
- 如果你只做过传统 NLP：用“文本摘要 vs 信息抽取”类比，说明压缩对应摘要任务（生成式），抽象对应信息抽取任务（结构化），并指出两者在 Agent 中的融合（如先抽取后摘要）。
- 如果你是校招无项目：聚焦论文复现，如“我复现了 LongT5 的摘要压缩，在 CNN/DailyMail 上 ROUGE-L 达到 40.2，并分析了压缩率对下游任务（如 QA）的影响”。
- 《LongT5: Efficient Text-To-Text Transformer for Long Sequences》
- 《REBEL: Relation Extraction By End-to-end Language generation》
- 《LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models》
- 《OneIE: A Unified Framework for End-to-End Information Extraction》
- 《Working Memory in LLM Agents: A Survey》（arXiv 2024）