为什么要做一致性检测和 swap consistency？防的是哪类偏差？

先这样答

要做一致性检测和 swap consistency，是为了确认评测结论不受选项位置和呈现顺序影响。它主要防两类偏差。第一类是位置偏差，裁判更偏好第一个选项。第二类是顺序依赖，模型的输出会随着选项呈现顺序变化。

具体做法是，对同一个输入交换偏好对或选项的顺序，再重新评测一次。两次结论应该一致。如果交换顺序后结论发生变化，就说明评测可能受顺序影响。一致性检测可以统计两次结论的不一致率。不一致率高时，评分结果就不可信。还可以继续看多裁判一致性，比较不同模型裁判之间的分歧度。也可以看重复采样一致性，检查同一个输入多次生成时是否稳定。

面试官会怎么追问

• 「swap consistency 和普通的重复评测有什么区别？」 swap consistency 会主动交换偏好对或选项的顺序。它专门检查顺序变化是否改变评测结论。普通重复评测不一定改变输入顺序。

• 「如果两次评测结论不一致，你会怎么判断问题？」 我会先把它看作顺序依赖的信号。然后统计同一输入交换顺序后的不一致率。如果不一致率高，就不能直接相信这套评分结果。

• 「除了交换选项顺序，还能检查哪些一致性？」 可以检查多裁判一致性，观察不同模型裁判的分歧度。也可以检查重复采样一致性，观察同一个输入多次生成的稳定性。

回答的坑

• 只说“检查评测稳定”，却没有明确指出位置偏差和顺序依赖。

• 只说交换顺序后重新评测，却没有说明结论不一致率高时评分不可信。