如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐
1️⃣ 考察意图
面试官想考察你在真实生产环境中，面对 GPU 稀缺这一硬约束时，能否设计出兼顾推理延迟敏感性和微调吞吐效率的系统方案。这不是背概念题，而是系统设计 + 工程取舍题。刁钻点在于：推理和微调对 GPU 资源（显存、算力、带宽）的竞争是动态且冲突的——推理要求低延迟、高吞吐，微调则追求高算力利用率和显存占用。答好了能展示你对 GPU 架构（如 SM 利用率、显存带宽）、调度策略（优先级队列、抢占式调度）和优化技术（LoRA、PagedAttention、Continuous Batching）的实战理解，以及从资源隔离到监控降级的整条链路设计能力。
2️⃣ 标准答
核心原则：推理优先，微调填缝。推理是延迟敏感型（P99 < 100ms），微调是批处理型（可容忍分钟级延迟）。资源分配必须动态，不能静态划分。
第一步：资源评估与最小化
- 推理最小资源：以 LLaMA-7B 为例，FP16 推理需约 14GB 显存（模型权重 14GB + KV Cache 动态）。使用 vLLM 的 PagedAttention 和 Continuous Batching 可将 KV Cache 利用率提升至 90%+，显存占用降至 12GB 左右。算力需求：单卡 A100（312 TFLOPS FP16）可支持 100 QPS 的 7B 模型，但需预留 20% 算力给微调。
- 微调最小资源：使用 LoRA（秩 r=8）微调，仅需训练 0.1% 参数，显存占用从全量微调的 40GB 降至 16GB（模型权重 14GB + 优化器状态 2GB + LoRA 权重 0.1GB）。算力需求：单卡 A100 上 LoRA 微调吞吐约 500 tokens/s，可接受 1-2 小时完成一轮训练。
- 取舍：全量微调显存占用过高，必须用 LoRA 或 QLoRA（4-bit 量化）压缩。QLoRA 进一步将显存降至 6GB，但训练速度下降 30%，适合推理负载高时使用。
第二步：资源隔离与调度策略
- 物理隔离：使用 NVIDIA MIG（Multi-Instance GPU）将 A100 切分为 3 个实例（如 1 个 40GB 实例 + 2 个 20GB 实例），推理独占 40GB 实例，微调使用 20GB 实例。但 MIG 不支持动态调整，资源浪费严重。更优方案是虚拟化隔离：通过 Kubernetes 的 Device Plugin 和 Volcano 调度器，将 GPU 显存和算力按比例分配给推理 Pod 和微调 Pod，支持动态调整。
- 优先级队列：推理请求进入高优先级队列（如 Redis 延迟队列），微调任务进入低优先级队列。调度器每 100ms 检查推理队列长度：若推理队列为空，则启动微调任务；若推理队列积压超过阈值（如 10 个请求），则暂停微调并释放资源给推理。
- 抢占式调度：微调任务运行时，推理请求突然爆发。调度器发送 SIGTERM 信号给微调进程，保存 LoRA 权重 checkpoint（约 10MB，保存时间 < 1s），然后释放显存给推理。推理负载下降后，恢复微调任务从 checkpoint 继续训练。
- 实际落地的坑：微调任务暂停后，优化器状态（Adam 动量）丢失，恢复后训练收敛变慢。解法：使用 Adafactor 优化器（无动量状态）或定期保存优化器状态（每 100 步），但增加 I/O 开销。工程上更推荐推理优先 + 微调空闲时运行，避免抢占。
第三步：优化技术组合
- 推理优化：vLLM 的 PagedAttention 减少 KV Cache 碎片，Continuous Batching 将多个请求合并为一个 batch，提升 GPU 利用率。实测：单卡 A100 上，7B 模型从 50 QPS 提升至 120 QPS，P99 延迟从 200ms 降至 80ms。
- 微调优化：LoRA + Gradient Checkpointing 减少显存占用（从 16GB 降至 12GB），但训练速度下降 20%。使用 DeepSpeed ZeRO-2 将优化器状态分片到 CPU，进一步降低显存至 8GB，但增加通信开销。
- 动态资源分配：基于 Prometheus 监控推理延迟和 GPU 利用率，当推理 P99 延迟 > 100ms 时，自动降低微调 batch size（从 32 降至 8）或暂停微调；当 GPU 利用率 < 70% 时，增加微调 batch size 以利用空闲算力。
第四步：监控与降级
- 关键指标：推理 P99 延迟（阈值 100ms）、推理吞吐（QPS）、微调吞吐（tokens/s）、GPU 显存利用率（阈值 90%）、GPU 算力利用率（阈值 80%）。
- 降级策略：当推理延迟超过 200ms 时，触发自动降级：① 停止所有微调任务；② 将推理模型从 FP16 降级为 INT8（通过 TensorRT-LLM 量化，精度损失 < 1%），释放 50% 显存；③ 如果仍超阈值，拒绝非核心推理请求（如低优先级用户），返回 503。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从资源评估、调度策略、优化技术三个层面回答。资源评估上，推理用 vLLM 最小化显存（7B 模型约 12GB），微调用 LoRA 压缩（约 16GB），确保单卡 A100 可共存。调度策略上，推理优先、微调填缝，使用优先级队列和抢占式调度，微调任务可被推理请求中断并保存 checkpoint。优化技术上，推理用 PagedAttention + Continuous Batching 提升吞吐，微调用 Gradient Checkpointing + DeepSpeed ZeRO 降低显存。总结一句：核心是让推理独占延迟敏感资源，微调利用空闲算力，并通过监控动态调整。”
4️⃣ 高频追问 & 应对
追问 1：如果只有一块 24GB 显存的 GPU（如 RTX 4090），怎么同时跑推理和微调？
24GB 显存下，7B 模型 FP16 推理需 14GB，LoRA 微调需 16GB，无法共存。解法：① 推理用 INT8 量化（TensorRT-LLM），显存降至 7GB；微调用 QLoRA（4-bit），显存降至 6GB，总计 13GB，可共存。② 使用 Unified Memory 将部分模型参数交换到 CPU，但增加延迟（P99 可能从 80ms 升至 200ms）。③ 更实际的做法：推理和微调分时复用——白天推理高峰（9:00-21:00）独占 GPU，夜间微调。调度器根据时间窗口自动切换。
追问 2：微调任务被抢占后，如何保证训练收敛不退化？
抢占会导致优化器状态丢失，训练收敛变慢。解法：① 使用 Adafactor 优化器（无动量状态），恢复后直接继续，无需保存状态。② 如果必须用 Adam，每 50 步保存一次优化器状态（约 2GB 显存开销），但增加 I/O 延迟。③ 更工程化的方案：微调任务设计为可中断的 checkpoint 机制，每 100 步保存一次 LoRA 权重（10MB）和优化器状态（2GB），恢复时从最近 checkpoint 继续。实测：中断 3 次后，训练收敛步数增加 10%，但可接受。
追问 3：如何设计调度器，避免推理请求突发时微调任务频繁启停？
频繁启停会导致微调效率低下（每次启动需加载模型，耗时 5-10s）。解法：① 引入冷却时间：微调任务被抢占后，至少等待 5 分钟才能再次启动，避免抖动。② 使用预测调度：基于历史推理负载（如过去 1 小时的 QPS 曲线），预测未来 10 分钟的负载，提前暂停微调。例如，工作日 10:00-11:00 是高峰，调度器在 9:50 自动暂停微调。③ 设置资源预留：为推理预留 30% 的 GPU 算力（通过 CUDA MPS 控制），微调只能使用剩余 70%，即使推理负载低，微调也不超过 70%，确保推理突发时有算力可用。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“用 Kubernetes 自动调度就行，不用管具体资源分配” → ✅ 必须给出具体资源数字（如 7B 模型推理需 12GB 显存）和调度策略（优先级队列、抢占式），K8s 只是工具，核心是资源隔离和动态调整。
- ❌ 说“推理和微调各占一半 GPU 资源，静态划分” → ✅ 静态划分浪费资源（推理高峰时微调资源闲置），必须动态调整，推理优先，微调填缝。
- ❌ 说“微调用全量微调，显存不够就加内存交换” → ✅ 全量微调显存占用过高（40GB+），必须用 LoRA/QLoRA 压缩，内存交换会导致训练速度下降 10 倍以上，不可接受。
6️⃣ 简历呼应
- 如果你有 GPU 调度项目：从实际部署经验切入，例如“我在某项目中用 Volcano 调度器管理 4 卡 A100，推理用 vLLM 服务 7B 模型，微调用 LoRA 训练，通过 Prometheus 监控延迟动态调整资源分配，P99 延迟稳定在 80ms 以下”。
- 如果你只做过传统 ML 系统：用类比迁移，例如“传统 ML 系统中，在线推理和离线训练也是资源竞争，但 GPU 场景更苛刻。我理解的核心是优先级队列和资源隔离，类似 Redis 延迟队列 + Docker 容器资源限制”。
- 如果你是校招无项目：聚焦论文复现 demo，例如“我复现过 vLLM 论文，在单卡 4090 上跑通 7B 模型推理，并尝试用 LoRA 微调，发现显存不足后改用 QLoRA，最终实现推理和微调共存，P99 延迟 150ms”。
- vLLM: Efficient Memory Management for Large Language Model Serving with PagedAttention（论文）
- LoRA: Low-Rank Adaptation of Large Language Models（论文）
- QLoRA: Efficient Finetuning of Quantized Language Models（论文）
- NVIDIA MIG 多实例 GPU 用户指南（NVIDIA 官方文档）
- Kubernetes + Volcano 调度器实现 GPU 动态资源分配（Volcano 项目文档）