提示工程提示工程长上下文速答 · 约 4 分钟更新 2026-09-19

长上下文中间的内容模型会「看不到」吗?怎么应对

一句话结论

会。模型对开头和结尾的信息利用更好,中段关键内容容易被忽略,和窗口标称多大关系不大;应对靠排布位置、压缩上下文和检索重排。

先这样答

会。长上下文有一个公认现象,研究者给它起过名字叫 lost in the middle:模型对开头和结尾位置的信息利用得更好,落在中段的关键内容容易被忽略。这个位置偏差和窗口标称多大没有必然关系,窗口再大也存在。所以「能放进去」和「用得上」是两回事,选型要看有效利用,不能只看参数表上的长度。

应对分两件事:主动排布和主动瘦身。排布上,关键指令放开头,最相关的参考材料放结尾,不要把重点埋在中段;检索场景对召回片段做重排,最相关的排两端。瘦身比排布更重要:上下文塞得越满,中段被稀释得越厉害,先筛掉低相关内容再喂。验证方法是做位置对照测试,把同一条关键信息分别放在开头、中段、结尾,比较回答质量,差异明显就调整排布或压缩。

总结给面试官:窗口变大没有消灭位置问题,排布和压缩仍然是要做的功课。把标称长度和有效长度分开说,是这类问题最稳的回答方式。

面试官会怎么追问

  • 「上下文窗口大就等于能用满吗?」 不等于。标称长度说的是容量,有效利用是另一回事,关键信息在中段时利用率明显下降。选型要关注实测表现和位置偏差,不要只看数字。
  • 「RAG 场景怎么排布检索结果?」 重排是检索后的最后一道工序:最相关的片段放开头或结尾,中间只放次相关的。同时控制片段数量,少而准胜过多而全。
  • 「怎么测自己的场景有没有这个问题?」 做位置对照:固定一组问题,把关键信息分别放在长上下文的开头、中间、结尾各跑一遍,比较正确率。位置差异大,就调整排布策略或压缩上下文。

回答的坑

  • 以为窗口升级后问题自动消失。容量和利用率是两个指标,位置偏差在长窗口下依然存在,工程上仍要主动管理。
  • 把所有资料无差别塞进上下文。内容越多中段越被稀释,先筛选再排布,比一味堆长度有效。
—— 本题完 ——