有没有做过VLM相关方面的微调？什么模型

1️⃣ 考察意图

面试官想验证你是否真正动手做过 VLM 微调，而非只读过论文或跑过 demo。考察类型是 工程取舍 + 系统设计。刁钻点在于：VLM 微调涉及视觉编码器、语言模型、连接模块三者的协同，候选人常只提 LoRA 却说不清冻结哪部分、为什么。答好了能展示你对多模态对齐、参数效率、数据配比的实战理解，以及处理过拟合/灾难性遗忘的工程直觉。

2️⃣ 标准答

做过，主要微调过 LLaVA-1.5 和 Qwen-VL-Chat。

1. 模型选择与微调方法

LLaVA-1.5：使用 7B 版本，视觉编码器用 CLIP ViT-L/14，连接器用两层 MLP。采用 LoRA（rank=64, alpha=128）微调语言模型部分，冻结视觉编码器。理由：全参数微调 7B 模型需要约 60GB 显存（batch_size=4），而 LoRA 只需 24GB，且视觉编码器在预训练中已对齐，微调它容易破坏底层视觉特征。
Qwen-VL-Chat：使用 9.6B 版本，采用 Qwen-VL 的交叉注意力机制。这里用了全参数微调，因为 Qwen-VL 的视觉编码器（ViT-bigG）和语言模型耦合更紧，LoRA 在交叉注意力层效果不稳定。代价是显存占用高（约 80GB），但通过 梯度检查点（gradient checkpointing） 和混合精度训练（bf16）压到了 48GB。

2. 微调数据与预处理

数据集：主要用 COCO Captions（120K 图像，5 个描述/图）和 Visual Genome（108K 图像，密集标注）。自定义了一个细粒度商品描述数据集（50K 图像，包含颜色、材质、款式）。
预处理：图像统一 resize 到 336x336（LLaVA 默认），使用 LLaVA 的对话模板 将描述转为多轮对话格式（例如：用户问“描述这张图”，助手答“这是一件红色棉质连衣裙”）。关键坑：商品数据中背景杂乱，需先做 背景裁剪 和 数据增强（随机旋转、亮度调整），否则模型会学偏到背景噪声。

3. 关键技巧与工程取舍

学习率调度：LoRA 微调时，语言模型部分用 cosine 衰减（初始 lr=2e-4），视觉编码器冻结。全参数微调时，视觉编码器用更低 lr（1e-5），语言模型用 2e-5，防止视觉特征被覆盖。
多模态对齐策略：在 LLaVA 中，先 预训练连接器（只训练 MLP，冻结视觉和语言模型），再 端到端微调。预训练阶段用 558K 图像-文本对（来自 CC3M），微调阶段用 158K 指令数据。这个两阶段策略能缓解 模态对齐不充分 的问题。
实际落地的坑：微调后模型在 VQA 任务上 BLEU-4 从 0.12 提升到 0.28，但出现了 灾难性遗忘——模型对通用知识（如“天空是什么颜色”）的回答变差。解法：在微调数据中混入 20% 的通用 VQA 数据（如 VQAv2），并设置 EWC（弹性权重巩固） 损失项，权重 lambda=0.5。

4. 效果评估

LLaVA-1.5 LoRA：在商品描述任务上，CIDEr 从 0.85 提升到 1.12，显存占用 24GB（batch_size=8）。对比全参数微调（CIDEr 1.18，显存 60GB），LoRA 在 5% 性能损失下节省了 60% 显存。
Qwen-VL 全参数：在 VQA 任务上准确率从 72.3% 提升到 78.1%，但训练时间长了 3 倍（8 卡 A100 跑 2 天 vs LoRA 的 8 小时）。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从模型选择、微调方法、数据策略三个层面回答。模型层面，我主要微调过 LLaVA-1.5 和 Qwen-VL-Chat，前者用 LoRA 冻结视觉编码器，后者全参数微调。方法层面，LLaVA 采用两阶段预训练-微调，Qwen-VL 用梯度检查点压显存。数据层面，自定义商品数据需做背景裁剪和通用数据混合防遗忘。总结一句：VLM 微调的核心是平衡参数效率与模态对齐，LoRA 适合资源受限场景，全参数适合高精度任务。”

4️⃣ 高频追问 & 应对

追问 1：为什么 LLaVA 要冻结视觉编码器，而 Qwen-VL 不冻结？

核心是架构差异。LLaVA 的视觉编码器（CLIP ViT）在预训练中已经与文本空间对齐，微调它会导致视觉特征漂移，破坏底层语义（例如“红色”可能被扭曲）。而 Qwen-VL 的视觉编码器（ViT-bigG）通过交叉注意力与语言模型深度耦合，冻结它会限制多模态交互。工程取舍：LLaVA 冻结视觉编码器可节省 30% 显存，但牺牲了细粒度视觉适应；Qwen-VL 全参数微调能更好捕捉商品细节，但需要更多算力。实际中，如果数据量小于 10K，建议冻结视觉编码器防过拟合。

追问 2：LoRA 的 rank 和 alpha 怎么选？你试过其他值吗？

我试过 rank=16, 32, 64。rank=64 在 LLaVA-1.5 上效果最好（CIDEr 1.12），rank=16 降到 0.95，rank=32 为 1.05。alpha 通常设为 rank 的 2 倍（alpha=128），这是 LoRA 论文的默认推荐。如果 rank 太大（如 128），微调参数增多，显存占用从 24GB 升到 32GB，但性能提升不到 2%，性价比低。经验法则：对于 7B 模型，rank=64 是甜点值，兼顾效果和效率。

追问 3：你提到 EWC 防遗忘，具体怎么实现的？lambda 怎么调？

EWC 在损失函数上加一个正则项：L_ewc = lambda * sum(F_i * (theta_i - theta_star_i)^2)，其中 F_i 是 Fisher 信息矩阵的对角线，theta_star_i 是旧任务的最优参数。lambda 我通过网格搜索调，范围 0.1-1.0，步长 0.1。在商品描述任务上，lambda=0.5 时通用 VQA 准确率从 72% 回升到 76%，而商品 CIDEr 只降了 0.02。如果 lambda 太大（>1.0），模型会过度约束，新任务性能下降 10% 以上。

5️⃣ 避坑 · 常见错误答法

❌ 说“我微调过 LLaVA，用了 LoRA，效果很好”，但说不出具体 rank 和数据量 → ✅ 必须给出具体数字（如 rank=64, 50K 数据），并解释为什么选这个值。
❌ 说“我冻结了视觉编码器，因为这样省显存”，但没提模态对齐风险 → ✅ 补充“冻结视觉编码器能防视觉特征漂移，但代价是细粒度适应差，所以数据量少时更合适”。
❌ 说“我用了全参数微调，效果比 LoRA 好”，但没提显存和训练时间 → ✅ 必须给出 trade-off：全参数性能高 5-10%，但显存多 2-3 倍，训练时间长 3-5 倍。

6️⃣ 简历呼应

如果你有 VLM 项目：从具体模型（LLaVA/Qwen-VL）和微调方法（LoRA/全参数）切入，强调你处理过灾难性遗忘和数据预处理（如背景裁剪），并给出量化指标（CIDEr 提升 0.27）。
如果你只做过纯文本 LLM 微调：用 LoRA 类比迁移，说“VLM 微调类似 LLM 的 LoRA，但多了视觉编码器冻结的取舍”，并强调你理解多模态对齐的挑战。
如果你是校招无项目：聚焦 LLaVA 论文复现，说“我复现了 LLaVA-1.5 的 LoRA 微调，在 COCO Captions 上验证了两阶段策略，并分析了 rank 对性能的影响”，展示动手能力和论文理解。
LLaVA: Visual Instruction Tuning（论文，提出两阶段微调框架）
Qwen-VL: A Versatile Vision-Language Model（论文，介绍交叉注意力架构）
LoRA: Low-Rank Adaptation of Large Language Models（论文，参数高效微调基础）
Elastic Weight Consolidation for Continual Learning（论文，EWC 防遗忘方法）
Hugging Face PEFT 库（工具，支持 LoRA/Adapter 微调 VLM）

—— 本场面试完 ——