微调和参数高效微调之间的区别是什么

微调和参数高效微调之间的区别是什么

1️⃣ 考察意图

面试官想看你是否真正理解模型训练的底层资源博弈，而非死记硬背概念。这是典型的“工程取舍”题，刁钻点在于：很多人只会说“PEFT省显存”，但答不出为什么省、省在哪、性能差距的边界条件是什么。答好了能展示你对优化器状态、梯度传播、多任务部署的硬核理解，以及在实际项目中做技术选型的判断力。

2️⃣ 标准答

核心区别：全参数微调（Full Fine-tuning）更新所有模型参数，PEFT（如LoRA、Adapter、Prefix Tuning）只更新少量额外参数，冻结原模型。

1. 参数更新范围与数学本质

• 全参数微调：对预训练权重矩阵 W 做全量更新，W_new = W_old + ΔW，ΔW 维度与 W 相同。例如 LLaMA-7B，更新 7B 个参数。
• LoRA（Low-Rank Adaptation）：将 ΔW 分解为两个低秩矩阵 A 和 B，ΔW = BA，其中 A∈R^(d×r)，B∈R^(r×k)，r << min(d,k)。LLaMA-7B 用 r=8 时，仅更新约 4.2M 参数，占比 0.06%。
• 为什么这么做：预训练模型已学到通用特征，微调只需在低维子空间修正。LoRA 假设权重更新是低秩的，这来自 Aghajanyan et al. (2020) 的实证发现。

2. 显存消耗的工程拆解

• 全参数微调：显存 = 模型参数 + 梯度 + 优化器状态（Adam 需 2 倍参数量的动量+方差）。以 LLaMA-7B 为例，fp16 训练：模型 14GB + 梯度 14GB + Adam 状态 28GB = 56GB，加上激活值，单卡 A100(80GB) 勉强跑 batch_size=1。
• LoRA：只对低秩矩阵计算梯度和优化器状态。模型参数和梯度仍在前向/反向传播中占用显存（因为需要计算 loss），但优化器状态从 28GB 降到约 16MB（4.2M 参数 × 2 状态 × 2 bytes）。实际显存节省约 30-50%，主要来自优化器状态和可训练参数梯度。
• 实际落地的坑：很多人以为 LoRA 显存只跟适配器大小有关，忽略了基础模型的前向激活值。当 sequence length 很长时（如 8K tokens），激活值可能占 40GB+，此时 LoRA 的显存优势被稀释。解法：配合 gradient checkpointing 或 FlashAttention 压缩激活值。

3. 训练速度与收敛行为

• 全参数微调：每步计算所有参数的梯度，通信开销大（多卡场景）。LLaMA-7B 全参数微调在 8×A100 上约 0.5s/step（batch_size=64）。
• LoRA：只计算低秩矩阵的梯度，反向传播更快。但前向传播仍需完整模型，所以加速比约 1.2-1.5x，并非 10x。收敛速度上，LoRA 通常需要更多步数（因参数少），但每步更快，总时间可能持平或略优。
• Trade-off：全参数微调在数据充足（>10K 条）时可能达到更高下游性能，但 LoRA 在数据少（<1K 条）时更鲁棒，不易过拟合。例如 Alpaca 实验：LoRA 在 52K 指令数据上达到全参数微调 95% 的性能。

4. 部署与多任务切换

• 全参数微调：每个任务需保存完整模型副本（7B 参数 ≈ 14GB fp16），切换任务需加载新权重。
• LoRA：基础模型共享，每个任务只保存适配器文件（4.2M 参数 ≈ 8MB）。可在推理时动态合并（W + BA）或通过 LoRA 框架（如 PEFT）热切换，支持数百个任务共存。
• 实际落地的坑：合并权重后推理速度与全参数微调一致，但若用动态加载（不合并），每次前向需额外计算 BA，增加约 5-10% 延迟。解法：对延迟敏感场景预合并，对存储敏感场景动态加载。

5. 性能边界与选择策略

• 何时选全参数微调：数据量 > 10K、任务与预训练分布差异大（如代码→法律文本）、追求 SOTA 且资源充足。
• 何时选 LoRA：数据量 < 1K、多任务部署、资源受限（单卡 24GB）、快速迭代实验。
• 其他 PEFT 方法：Adapter 在 Transformer 层插入小网络，参数量与 LoRA 相当但推理增加延迟；Prefix Tuning 在 attention 前加虚拟 token，对长序列效果不稳定。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从参数更新范围、显存消耗、训练速度、部署灵活性四个层面回答。全参数微调更新所有参数，显存需求大但数据充足时性能上限高；PEFT 如 LoRA 只更新低秩矩阵，显存省 30-50%，适合少数据和多任务部署。总结一句：选全参数微调还是 PEFT，取决于你的数据量、资源预算和部署约束，没有绝对优劣。”

4️⃣ 高频追问 & 应对

追问 1：你说 LoRA 省显存，具体省在哪？为什么不是省 90%？

省在优化器状态和可训练参数梯度，但基础模型的前向激活值、梯度（用于计算 loss）仍需存储。以 LLaMA-7B 为例，模型参数 14GB、梯度 14GB 是固定的，只有 Adam 状态从 28GB 降到 16MB。加上激活值（约 20-40GB 取决于 seq_len），总显存从 56GB+ 降到 34GB+，节省约 40%。如果 seq_len 很长，激活值占比更大，节省比例会下降。

追问 2：LoRA 的秩 r 怎么选？r=64 一定比 r=8 好吗？

不一定。r 控制低秩矩阵的表达能力，但过大会导致过拟合。经验法则：r=8 在大多数任务上已足够（如 LLaMA 微调），r=16 在数据量大时可能提升 1-2%。更大的 r 会增加参数量和过拟合风险，且收益递减。建议从 r=8 开始，用验证集 loss 做 grid search，同时监控训练集 loss 是否远低于验证集（过拟合信号）。

追问 3：如果我想在 4 个任务间切换，用 LoRA 还是全参数微调更划算？

用 LoRA。全参数微调需保存 4 个 14GB 模型 = 56GB 存储，切换需重新加载权重（约 2-3 秒）。LoRA 只需保存 4 个 8MB 适配器 = 32MB，基础模型共享，切换只需热加载适配器（<10ms）。如果推理延迟敏感，可预合并 4 个适配器到基础模型，但需 4×14GB 存储，此时全参数微调反而更简单。所以取决于存储 vs 延迟的 trade-off。

5️⃣ 避坑 · 常见错误答法

• ❌ “PEFT 比全参数微调性能差很多，所以不实用。” → ✅ “在数据量 <1K 时，PEFT 因参数少反而更鲁棒，不易过拟合；在数据量 >10K 时，全参数微调可能高 1-3%，但 LoRA 通常能达到 95%+ 性能，性价比更高。”
• ❌ “LoRA 只更新低秩矩阵，所以训练速度比全参数微调快 10 倍。” → ✅ “前向传播仍需完整模型，反向传播只计算低秩矩阵梯度，实际加速比约 1.2-1.5x。速度提升主要来自优化器状态计算减少，而非模型计算量减少。”
• ❌ “全参数微调就是最好的，因为更新所有参数。” → ✅ “全参数微调在资源充足时性能上限高，但容易灾难性遗忘，且多任务部署成本高。PEFT 在少数据、多任务场景下是更优选择。”

6️⃣ 简历呼应

• 如果你有 RAG 项目：从“多任务部署”切入，说明在 RAG 系统中用 LoRA 为不同检索策略（BM25、Dense）微调不同适配器，共享基础 embedding 模型，节省 80% 存储。
• 如果你只做过传统 NLP：用“优化器状态”类比迁移，解释全参数微调像重新训练整个模型，PEFT 像在模型上贴“补丁”，只更新补丁的梯度，所以显存省。
• 如果你是校招无项目：聚焦 LoRA 论文（Hu et al. 2021）复现 demo，用 HuggingFace PEFT 库在 BERT-base 上对比全参数微调与 LoRA 的准确率、显存、时间，展示工程动手能力。
• LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning (Pfeiffer et al., 2021)
• PEFT: State-of-the-art Parameter-Efficient Fine-Tuning (HuggingFace 官方库文档)
• The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., 2021)