先这样答
结论是：把一次任务的输入、模型输出、采样信息和外部响应完整记录下来，再用固定输入流和响应快照按原顺序重放。
Trace 要记录完整输入。输入包括系统提示词、历史、检索内容、工具定义及版本。还要记录每一步模型的原始输出、采样参数与种子。外部工具响应也要保存快照。这样复盘时，模型拿到的内容和工具返回的内容都有记录。
重放时，按原顺序喂入固定输入流。外部工具不再实时调用，直接使用当时保存的响应快照。复盘时，按任务 ID 聚合 Trace，先定位实际输出与原结果的分歧步骤，再对比预期行为。这样可以判断问题从哪一步开始。没有记录种子和外部快照的 Trace，只能查看，不能重放。
面试官会怎么追问
-
「Trace 里哪些内容必须记录？」
必须记录完整输入，包括系统提示词、历史、检索内容、工具定义及版本。还要记录每步模型原始输出、采样参数与种子，以及外部工具响应快照。 -
「外部工具会返回变化，重放时怎么处理？」
重放时按顺序喂入固定输入流。外部工具响应不重新请求，而是使用原来保存的响应快照。 -
「事故发生后，你怎么定位是哪一步出了问题？」
先按任务 ID 聚合整条 Trace。再定位分歧步骤，并把实际行为和预期行为进行对比。没有种子或外部响应快照时，只能查看，不能重放。
回答的坑
- 只保存最终答案，无法定位中间哪一步产生了分歧。
- 只记录输入和输出，没记录种子与外部响应快照，Trace 就不能重放。
同系列的题
—— 本题完 ——