什么是 LLM-as-a-Judge？它的优缺点是什么
1️⃣ 考察意图
考察对LLM评估方法的深度理解。刁钻点：需要说出LLM-as-Judge的具体偏见和缓解方案。
2️⃣ 标准答
LLM-as-a-Judge：用LLM（如GPT-4）自动评估另一个LLM/Agent的输出质量。
使用方式：
输入：[原始任务] + [Agent输出] + [参考答案（可选）] + [评分标准]**输出：GPT-4给出1-5分评分 + 评分理由优点：**
- 可扩展——1000条数据人工评估需要2天，GPT-4评估5分钟
- 多维度——一次评估多个维度（正确性/完整性/简洁性/安全性）
- 可解释——GPT-4给出评分理由，便于debug
缺点与偏见：
| 偏见 | 表现 | 缓解方案 |
|---|---|---|
| 位置偏见 | 倾向选第一个选项 | 随机打乱顺序，多次评估取平均 |
| 长度偏见 | 倾向给长回答高分 | 加"简洁性"维度，长度归一化 |
| 自我偏好 | GPT-4倾向给GPT-4输出高分 | 用不同模型做Judge |
| 能力上限 | 无法识别比自己更强的推理 | 人工抽检校准（Kappa>0.7） |
| 领域知识不足 | 不理解专业术语 | 在prompt中加入领域知识上下文 |
最佳实践：
- 用GPT-4做初筛（100%数据），人工抽检20%校准
- 计算GPT-4与人工的Cohen's Kappa，<0.7则调整评分prompt
- 对高风险评估（如安全审核），必须人工最终确认
3️⃣ 答题模板
"LLM-as-Judge用GPT-4自动评估Agent输出。优点：可扩展（5分钟评1000条）、多维度、可解释。缺点：位置偏见（随机打乱）、长度偏见（加简洁性维度）、自我偏好（用不同模型）、能力上限（人工校准Kappa>0.7）。最佳实践：GPT-4初筛100%+人工抽检20%+Kappa校准。"
4️⃣ 高频追问
追问 1：Agent评估中LLM-as-Judge怎么用？和LLM评估中有什么不同？
Agent评估中，Judge不仅评估最终输出，还评估"执行过程"。给GPT-4看Agent的完整trace（每步的输入输出），评估：(1) 规划合理性——是否选择了最优路径；(2) 错误恢复——某步失败后是否调整策略；(3) 工具使用——是否选对了工具、参数是否正确。区别：LLM评估只看"输出文本质量"，Agent评估还看"行为序列质量"。挑战：Agent trace可能很长（50+步），超出Judge的上下文窗口。解法：分段评估+汇总。
追问 2：怎么计算Cohen's Kappa？
流程：(1) 抽100条数据；(2) 人工标注每条的1-5分评分；(3) GPT-4对同样100条评分；(4) 计算两组评分的Cohen's Kappa。Kappa>0.7=一致性良好，0.5-0.7=中等，<0.5=不一致。如果<0.7，分析不一致的案例：是Judge的prompt不够明确？还是Judge缺乏领域知识？调整后重新计算。
5️⃣ 避坑
- ❌ "GPT-4评分一定准" → ✅ "GPT-4有位置偏见/长度偏见/自我偏好。必须用人工抽检校准，Kappa<0.7时不可信。"
6️⃣ 简历呼应
- 有评估经验：从"LLM-as-Judge校准"切入
- 校招无项目：用GPT-4评估LLaVA输出，计算与人工评分的Kappa
- "LLM-as-a-Judge: Evaluating LLMs with LLMs" (Zheng et al., 2023)