What metrics or strategies would you use to compare preference-tuned LLMs
1️⃣ 考察意图
面试官想看你是否具备系统化评估偏好调优（如RLHF、DPO、KTO）的能力，而非只背概念。刁钻点在于：偏好调优常以“胜率”或“奖励分数”为单一指标，但实际部署中会牺牲通用能力（如推理、事实性）或引入安全风险。答好了能展示你懂实验设计、统计显著性、以及多目标权衡（Pareto前沿），这是大厂做模型选型或迭代时的硬实力。
2️⃣ 标准答
比较偏好调优后的LLM，不能只看Chatbot Arena Elo分数，需从核心偏好、效率、泛化、安全性四个维度设计指标和策略。具体如下：
- 核心偏好指标
- 奖励模型得分：用独立奖励模型（如OpenAssistant的RM）打分，但注意RM本身有偏差（偏好长度或风格），需交叉验证。
- 人类偏好胜率：使用Chatbot Arena Elo或A/B测试（如LMSYS的battle模式），统计显著性用bootstrap（1000次重采样，p<0.05）。坑：Elo分数对配对顺序敏感，需固定基座模型作为锚点。
- 可控性指标：如指令遵循率（用IFEval或MT-Bench），偏好调优常提升对话流畅性但牺牲精确指令执行。
- 效率与训练成本
- 训练收敛速度：记录达到目标奖励阈值所需的步数或GPU小时。例如DPO通常比PPO快2-3倍（无critic模型），但收敛后奖励方差更大。
- 推理延迟变化：偏好调优可能改变token分布（如更啰嗦），导致生成长度增加20-30%，影响延迟。需在固定prompt集上测平均生成时间。
- 泛化与能力保持
- 下游任务性能：在MMLU（知识）、GSM8K（数学）、HumanEval（代码）上评估。偏好调优常导致“对齐税”，如RLHF在GSM8K上可能掉3-5个点。
- 事实性指标：用TruthfulQA或自建事实性测试集（如检查生成中实体错误率）。DPO有时比PPO更易产生幻觉，因为直接优化偏好可能放大训练数据中的噪声。
- 分布外鲁棒性：用OOD prompt（如非英语、长上下文）测试，偏好调优可能过拟合训练分布。
- 安全与偏见
- 毒性：用RealToxicityPrompts或自建对抗prompt，计算有害内容生成率。RLHF的reward hacking可能导致“安全但无用”的回复（如拒绝所有敏感问题）。
- 偏见：用BBQ或WinoBias测试性别/种族偏见，偏好调优可能放大训练数据中的刻板印象。
- 策略：使用控制变量法（相同基座、数据、超参数），并绘制Pareto前沿（如偏好胜率 vs. MMLU分数），展示权衡。例如DPO在偏好胜率上优于PPO，但MMLU掉点更多，需根据业务场景选择。
- 实际落地的坑与解法
- 坑：奖励模型过拟合，导致模型学会“讨好”RM而非真正对齐。解法：用多个RM（如不同架构）投票，或引入对抗性验证（用RM无法区分的pair做测试）。
- 坑：统计显著性不足，小样本Elo波动大。解法：用bootstrap计算置信区间，并设置最小样本量（如每个模型至少500个battle）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从四个层面回答：核心偏好指标（如Elo、RM得分）、效率与成本（训练速度、推理延迟）、泛化保持（MMLU、GSM8K）、安全与偏见（毒性、偏见测试）。策略上，用控制变量法（相同基座和数据），绘制Pareto前沿展示权衡，并用bootstrap做统计检验。总结一句：没有单一指标，必须根据业务场景（如对话 vs. 代码生成）选择权重。”
4️⃣ 高频追问 & 应对
追问 1：你提到Pareto前沿，具体怎么画？如果两个模型在不同维度上各有优劣，怎么选？
用散点图，x轴是偏好胜率（如Elo），y轴是下游任务性能（如MMLU）。每个模型是一个点，连接所有非支配点（即没有其他点在两个维度上都优于它）形成前沿。选择时，根据业务需求定权重：如果产品是客服对话，偏好胜率权重更高；如果是代码助手，MMLU权重更高。也可以归一化后算加权和（如0.7Elo + 0.3MMLU），但注意归一化方法（min-max vs. z-score）会影响结果。
追问 2：你提到DPO比PPO快，但奖励方差大，具体怎么量化？方差大对部署有什么影响？
量化：在固定验证集上，计算每个batch的奖励均值与标准差，DPO的标准差通常比PPO高15-30%（因为DPO直接优化偏好，不依赖critic平滑）。部署影响：方差大意味着模型行为不稳定，同一prompt可能生成质量差异大的回复。解法：用温度采样或top-p截断降低方差，或混合训练（先用DPO快速收敛，再用PPO微调稳定）。
追问 3：如果预算有限，只能选一个指标来比较，你选哪个？为什么？
选人类偏好胜率（Elo），因为它直接反映用户感知质量，且与业务指标（如留存率）相关性最高。但必须搭配下游任务性能做二次验证，因为Elo可能被“花哨但错误”的回复欺骗。如果预算极低，可用MT-Bench（单机可跑）替代Elo，但需注意MT-Bench的prompt集较小（80题），置信区间宽。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“用Chatbot Arena Elo分数比较”，忽略统计显著性和泛化损失。 → ✅ 补充：Elo分数需bootstrap计算置信区间，并同时报告MMLU/GSM8K变化，避免“对齐税”被忽视。
- ❌ 认为“奖励模型得分越高，模型越好”。 → ✅ 指出：奖励模型本身有偏差（偏好长度、风格），需用人类评估交叉验证，且reward hacking可能导致高分但无用的回复。
- ❌ 只比较训练速度，忽略推理延迟变化。 → ✅ 强调：偏好调优可能改变生成长度（如更啰嗦），导致推理延迟增加20-30%，需在固定prompt集上测平均时间。
6️⃣ 简历呼应
- 如果你有RLHF/DPO项目：从“实际训练中遇到的reward hacking和收敛问题”切入，展示你如何用多个RM和bootstrap做评估，并绘制Pareto前沿选择最终模型。
- 如果你只做过传统NLP（如分类、NER）：用“多指标评估”类比（如F1 vs. 召回率），迁移到LLM评估，强调控制变量法和统计检验的重要性。
- 如果你是校招无项目：聚焦论文复现（如“复现DPO论文中的评估流程，用Llama-2-7B在MT-Bench和SafetyBench上测试”），展示你对指标和实验设计的理解。
- “Direct Preference Optimization: Your Language Model is Secretly a Reward Model” (DPO论文)
- “Training a Helpful and Harmless Assistant from Human Feedback” (Anthropic RLHF论文)
- “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” (LMSYS评估框架)
- “The Alignment Tax: How RLHF Affects Downstream Performance” (博客分析)
- “Bootstrap Confidence Intervals for Elo Ratings” (统计方法教程)