**Q3：什么是 PSFT？为什么值得在面试里提

P1 · llm_training

📊 考点：dpo · llm-training

🏷 标签：psft, preference-learning

1️⃣ 考察意图

面试官想考察你是否真正理解LLM训练范式的演进，而非仅仅背诵“SFT→RLHF”的流水账。PSFT（Preference Supervised Fine-Tuning）是介于SFT和RLHF之间的关键桥梁，它代表从“模仿学习”到“偏好对齐”的范式跃迁。刁钻点在于：很多人只把PSFT当成DPO的别名，却说不清它与标准SFT在损失函数、数据格式、优化目标上的本质区别。答好了，能展示你对训练管线中“对齐”环节的工程直觉，以及从论文到落地的完整流程能力。

2️⃣ 标准答

PSFT（Preference Supervised Fine-Tuning）不是某个具体算法，而是一类训练范式的统称：在SFT阶段直接引入偏好信号，用对比损失替代交叉熵损失，让模型学会“区分好坏”而非“模仿平均”。

核心区别：SFT vs PSFT

SFT：给定输入x，学习输出y的分布。损失函数是交叉熵，目标是让模型“像人一样说话”。数据是单条（x, y），没有对比信号。
PSFT：给定输入x，学习偏好关系。损失函数是排序损失（如DPO的binary cross-entropy on log-probability ratios），目标是让模型“说人更爱听的话”。数据是三元组（x, y_w, y_l），包含赢家和输家。

主流方法（按复杂度排序）

DPO（Direct Preference Optimization）：最经典。直接利用偏好对，通过一个闭式解将RLHF的reward建模转化为对策略模型的约束。公式核心：L = -E[log σ(β * (log π(y_w|x) - log π(y_l|x)))]。无需单独训练reward model，省掉一个GPU集群。
KTO（Kahneman-Tversky Optimization）：针对只有“好”或“坏”单边反馈的场景（比如点赞/踩）。用前景理论中的损失厌恶系数，对正负样本不对称加权。适合线上日志数据，不需要成对标注。
SimPO（Simple Preference Optimization）：进一步简化，直接用生成序列的平均对数概率作为隐式reward，去掉DPO中的reference model。训练速度提升30%，但需要调β和长度惩罚系数。

工程取舍：为什么不用RLHF？

RLHF：需要4个模型（actor, reference, reward, critic），训练不稳定，reward hacking常见。适合GPT-4级别的大模型，因为reward model能捕捉复杂偏好。
PSFT：只需1-2个模型（actor + 可选reference），训练稳定，收敛快。适合7B-13B的中小模型，或快速迭代的AB测试场景。
取舍点：PSFT的偏好表达能力弱于RLHF——它假设偏好是“可传递的”（如果A>B且B>C，则A>C），但人类偏好往往是非传递的（比如“A比B好，B比C好，但C比A好”）。所以PSFT更适合单一维度的对齐（如安全性），不适合多维度（如“更幽默且更准确”）。

实际落地的坑 + 解法

坑1：偏好数据噪声大。标注员对“好回答”的定义不一致，导致DPO训练发散。解法：用“投票一致性过滤”（Cohen's Kappa < 0.6的样本丢弃），或引入“软标签”（标注员投票比例作为权重）。坑2：DPO的β超参数敏感。β太小，模型忘记SFT知识；β太大，模型只学偏好，生成重复。
解法：先用SFT训练到收敛，再用DPO微调，β从0.1开始网格搜索。经验值：7B模型β=0.1-0.3，1.3B模型β=0.5-1.0。坑3：PSFT后模型变“舔狗”。模型学会迎合偏好，但丧失多样性（比如总是回答“这是一个好问题”）。
解法：在损失函数中加入KL散度惩罚项（DPO自带），或混合SFT数据（PSFT:SFT=3:1）保持知识。

面试价值

展示你对“对齐”的深度理解：从SFT的“模仿”到PSFT的“区分”，再到RLHF的“优化”，是一个递进关系。
体现工程落地能力：能说出DPO的β调参经验、数据过滤策略，说明你真正跑过实验。
区分度：当别人只会说“DPO比RLHF简单”时，你能指出“PSFT的偏好传递性假设是它的天花板”。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，PSFT是偏好监督微调的统称，核心是用对比损失替代交叉熵，让模型学会区分好坏而非模仿平均。第二，主流方法包括DPO、KTO、SimPO，它们各有适用场景——DPO需要成对数据，KTO支持单边反馈，SimPO省掉reference model。第三，面试价值在于展示从SFT到RLHF的范式跃迁，以及工程落地的细节，比如β调参、数据过滤。总结一句：PSFT是中小模型对齐的‘黄金标准’，但受限于偏好传递性假设。”

4️⃣ 高频追问 & 应对

追问 1：PSFT和RLHF在数据效率上有什么区别？如果只有1000条偏好数据，你选哪个？

数据效率上，PSFT远高于RLHF。RLHF需要先训练reward model（至少需要5000条偏好数据才能收敛），再用PPO优化（需要在线采样，数据利用率低）。PSFT直接优化策略，1000条数据就能看到明显效果。如果只有1000条，我会选PSFT，具体用DPO，因为它的梯度更新更稳定。但要注意：PSFT对数据质量要求更高，1000条数据中如果有10%的噪声，DPO就会发散。所以我会先用GPT-4做一轮自动过滤，保留一致性高的样本。

追问 2：你说PSFT假设偏好可传递，但实际中人类偏好往往不可传递。怎么解决？

这是一个好问题。目前有两种思路：一是用“非传递性偏好建模”，比如引入Plackett-Luce模型，但计算复杂度高。二是工程妥协：将多维度偏好拆解为单维度，比如先对齐安全性（PSFT），再对齐有用性（RLHF），分阶段训练。实际落地中，我倾向于第二种，因为可解释性强，且每个阶段的数据标注标准清晰。比如在Anthropic的HH-RLHF数据集上，先做PSFT过滤有害回答，再做RLHF优化有用性。

追问 3：SimPO去掉了reference model，会不会导致模型遗忘SFT知识？

会，这是SimPO的主要风险。去掉reference model后，损失函数中缺少了KL散度约束，模型容易在偏好优化过程中偏离初始分布。解法有两个：一是训练时混合SFT数据（SimPO:SFT=4:1），二是对生成序列做长度惩罚（SimPO原文用length_penalty=0.5）。实际实验中，我发现7B模型用SimPO时，如果β>0.5，生成多样性会下降30%，所以建议先用DPO做基线，再用SimPO做加速。

5️⃣ 避坑 · 常见错误答法

❌ 把PSFT等同于DPO，说“PSFT就是DPO，是一种新的微调方法”。 → ✅ 正确切入：PSFT是一类范式，DPO是其中一种具体实现。要强调“对比损失”和“偏好数据”这两个核心特征，并指出KTO、SimPO等变体。
❌ 说“PSFT比RLHF好，所以应该全面替代RLHF”。 → ✅ 正确切入：PSFT和RLHF各有适用场景。PSFT适合中小模型和快速迭代，RLHF适合大模型和多维度对齐。要给出具体的分界线（比如模型大小、数据量、偏好复杂度）。
❌ 只讲理论，不提工程坑。 → ✅ 正确切入：必须提到β调参、数据噪声过滤、模型变“舔狗”等实际问题，并给出具体解法（如混合SFT数据、软标签等）。

6️⃣ 简历呼应

如果你有RAG项目：从“偏好数据构建”角度切入。比如在RAG系统中，用PSFT优化生成器，偏好数据来自用户点击反馈（点击的回答作为y_w，未点击的作为y_l）。可以展示你如何用KTO处理单边反馈，以及如何解决“模型变舔狗”问题（混合SFT数据）。
如果你只做过传统NLP：用“排序学习”类比。PSFT类似于Learning to Rank中的pairwise方法（如RankNet），只是把排序目标换成了语言模型的对数概率。可以展示你对损失函数设计的理解，以及如何从传统NLP迁移到LLM。
如果你是校招无项目：聚焦论文复现。在Anthropic HH-RLHF数据集上，用DPO训练一个1.3B模型，对比SFT的生成质量。可以展示你如何用GPT-4做自动评估（胜率统计），以及如何调β参数。重点突出“实验设计”和“结果分析”能力。

7️⃣ 延伸阅读

DPO: Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)
KTO: Model Alignment as Prospect Theoretic Optimization (Ethayarajh et al., 2024)
SimPO: Simple Preference Optimization with a Reference-Free Reward (Meng et al., 2024)
Anthropic HH-RLHF 数据集：用于偏好对齐的经典基准
博客：Hugging Face 的《DPO vs RLHF: A Practical Guide》

—— 本场面试完 ——