记忆写入前怎么校验？记忆模块的质量和效果怎么评估？

先这样答

回答这个问题可以分为写入前校验链路和落库后的效果评估两部分。核心逻辑是通过抽取、去重和冲突检测保证写入质量，再通过使用侧的命中率和任务表现衡量实际效果。

记忆写入前会经历一个标准处理流程。模型先从上下文中抽取候选记忆，接着按语义相似度进行合并去重。去重后进行事实性校验，这步可以通过另一个模型或规则来实现，主要判断抽取结果与来源上下文的一致性，防止模型产生幻觉。在落库前还要做冲突检测，也就是当新记忆与旧记忆产生矛盾时，决定采取覆盖还是并存策略。完成这些步骤后，打上时间戳和来源标识再写入数据库。在实际操作中，还可以配合写入后的抽样人工复核来保证质量。

记忆模块的质量评估分为写入侧和使用侧两组指标。写入侧主要看抽取准确率、重复率和冲突率，这决定了记忆库的基础质量。使用侧更看重实际收益，指标包括记忆命中率，即记忆不仅被检索出来，还要被模型实际引用；还有记忆带来的任务成功率增量，通常通过有无记忆的A/B测试来对比。此外，还要关注过期记忆污染率，评估旧信息对当前任务的负面影响。

为了让记忆模块保持健康运转，可以引入可信度机制。根据记忆被调用后是否成功解决任务，向记忆库回写可信度标签。低可信度的记忆会被降权或淘汰，这样记忆库就能在不断交互中完成自我修正。

面试官会怎么追问

• 「新旧记忆发生冲突的时候，具体怎么决定覆盖还是并存？」 可以根据时间戳和信息类型判断。如果新信息是对旧状态的明确更新，就采取覆盖策略。如果是不同场景下的偏好，则保留两者并加上时间戳作为并存记忆，交由调用时的模型根据上下文自行判断。
• 「你刚才提到依据调用结果给文档打可信度，具体怎么做？」 这是一个事后反馈机制。当Agent检索并使用了某条记忆执行任务后，如果任务成功，就把该条记忆的可信度分数调高。如果任务失败或被纠正，则降低该记忆的分数，当分数低于设定阈值时，将其标记为失效或淘汰。
• 「记忆落库的标注和校验，完全交由大模型自主完成靠谱吗？」 完全依赖大模型存在幻觉风险，需要混合校验。抽取后不仅要用另一个独立模型做原文一致性交叉验证，还要引入规则校验。最后辅以定期的人工抽样复核，确保落库记忆的准确基准。

回答的坑

• 把记忆评估等同于普通检索评估，只提召回率和准确率，忽略了记忆特有的重复率、过期记忆污染率以及任务成功率增量。
• 认为记忆写入就是简单的文本存储，忽略了入库前必须带上时间戳与来源，以及新旧记忆冲突检测这一关键环节。