评测集污染（数据泄漏）是什么？怎么发现和防？

先这样答

评测集污染指 benchmark 的题目（或高度近似的题）混进了模型的训练数据，模型拿高分靠的是见过原题，不是具备对应能力。后果是分数虚高：榜单排名和真实能力脱节，基于分数做的模型选型、能力验收、报价对比全部失真。

发现有三招。时序对照：拿训练数据截止日期之后新出的题重测，新题分数显著低于老题，是污染的典型信号。改写对照：把原题换说法、换数字、换场景重测——背过题的模型原题对、改写题崩；真会做的题，改写后分数基本稳。成员推断：模型对题面文本的困惑度异常低（远低于同难度题），说明它大概率见过这段文本。预防是评测建设者的责任：高价值评测集保密或只提供私有评测通道；定期换题换题型；公共榜单的分数只做参考，关键决策用自己业务数据建的私有评测集，再拿线上真实指标交叉验证。

面试官会怎么追问

• 「自建的内部评测集也会被污染吗？」 会。训练数据若来自爬取文本、客服记录、与评测同源的业务日志，近似题一样会漏进去。防护是来源隔离：训练数据与评测数据划清来源边界，入库前去重、查相似度。
• 「被污染的模型还能用吗？」 能力本身没消失，污染破坏的是「分数的可信度」。日常使用没影响，但做模型对比、能力验收、按榜单选型时，必须重新测，不能引用公开分数。
• 「业界现在怎么应对？」 公共评测定期更新版本、保留不公开的 held-out 集、模型发布时报告训练数据截止时间（方便使用者做时序对照），这些正在成为评测的基本规范。

回答的坑

• 只看公开榜单分数做选型。被污染的榜单会系统性误导，分数接近的两个模型，真实能力可能差一大截。
• 以为自己的评测集小、私有就安全。小评测集更容易被同源数据漏进去，来源隔离和去重照样要做，和集子大小无关。