你怎么处理响应速度与推理精度之间的 tradeoff

1️⃣ 考察意图

面试官想看的不是“我知道量化、蒸馏”这种概念罗列，而是你在真实部署中如何量化取舍：比如为了降低 50% 延迟，愿意牺牲多少准确率？用什么指标衡量？有没有动态切换的工程方案？这是典型的工程取舍 + 系统设计题，刁钻点在于：候选人容易只谈加速不谈精度损失的可控性，或者只谈理论不谈落地时的监控与回退机制。答好了能展示你对推理栈的端到端理解（从模型压缩到部署调度），以及面对不确定性的决策能力。

2️⃣ 标准答

核心思路：不追求单一最优，而是根据场景动态平衡。具体分三步走：瓶颈分析、加速手段、精度兜底与动态调度。

第一步：定位瓶颈

推理延迟主要卡在三个环节：

模型大小：参数量直接决定计算量。例如 7B 模型单次推理约 14 GFLOPS，70B 则 140 GFLOPS，差 10 倍。
序列长度：Transformer 的注意力复杂度是 O(n²)，128K 上下文比 4K 慢约 1000 倍（FlashAttention 可降到 O(n log n) 但仍有常数倍差距）。
解码策略：自回归生成中，beam search（beam=4）比 greedy 慢 4 倍，但精度可能只提升 1-2 个点。

第二步：常用加速手段（按收益/风险排序）

量化（INT8/INT4）：最直接。用 TensorRT 或 llama.cpp 对权重做 INT8 量化，延迟降 40-50%，精度损失通常 <1%（在 MMLU 上）。坑：激活值分布不均匀时（如 outlier channel），直接量化会导致精度崩盘。解法：用 SmoothQuant 先平滑激活值，再量化；或者用 AWQ 做 per-channel 量化。
知识蒸馏：用大模型（如 GPT-4）教小模型（如 7B）。trade-off：蒸馏后的 7B 在特定任务上可能接近 70B 的 90% 精度，但训练成本高（需 10 万+ 条蒸馏数据），且泛化性可能下降。
剪枝 + 稀疏化：结构化剪枝（去掉注意力头）可减少 20% 参数，但精度恢复需要 fine-tune。非结构化剪枝（SparseGPT）可压 50% 权重为 0，但需要硬件支持（如 NVIDIA Ampere 的 2:4 稀疏）。
更小的基座模型：直接换模型，比如从 Llama-3-70B 降到 Llama-3-8B。代价：推理延迟降 8 倍，但复杂推理（数学、代码）准确率可能掉 15-20%。

第三步：精度兜底与动态调度

精度监控：部署时对每个请求计算置信度（如 logit 的 softmax 熵），当熵 > 阈值（如 0.8）时，说明模型可能不确定，此时切换到高精度模型或做二次验证。
动态切换策略：根据请求优先级和系统负载：
高并发（>100 QPS）：强制用 INT4 量化模型，延迟 < 50ms。
重要请求（如金融风控）：用 FP16 全精度模型，延迟可接受 200ms。
中间态：用 INT8 模型 + beam search（beam=2），平衡速度和精度。
A/B 测试：上线前在 10% 流量上跑对比，监控 p99 延迟和准确率（如 F1 分数）。如果 INT8 模型准确率下降 > 2%，自动回退到 FP16。

实际落地的坑：量化模型在长尾分布数据上（如罕见实体识别）精度下降明显。解法：对这类数据做数据增强，或单独用高精度模型处理。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，瓶颈分析——延迟主要卡在模型大小、序列长度和解码策略；第二，加速手段——量化（INT8/INT4）收益最高，但要注意 outlier 问题，蒸馏和剪枝适合离线优化；第三，动态平衡——根据请求优先级和系统负载切换精度，并用置信度监控兜底。总结一句：没有银弹，核心是用监控和回退机制让系统在速度和精度之间自适应。”

4️⃣ 高频追问 & 应对

追问 1：你提到 INT8 量化精度损失 <1%，但实际部署中遇到过损失超过 5% 的情况吗？怎么排查？

遇到过。一次在 NER 任务上，INT8 模型对“人名”实体召回率从 92% 掉到 78%。排查步骤：1）检查激活值分布——发现某些 channel 的 max 值比其他高 10 倍（outlier），导致量化后信息丢失。2）用 SmoothQuant 对激活值做 per-token 平滑，把 outlier 分散到权重上。3）重新量化后召回率回到 89%。关键教训：量化前一定要做校准数据集上的分布分析，不能只看整体指标。

追问 2：动态切换策略中，你怎么定义“重要请求”？有没有具体规则？

规则分三层：1）业务标签——比如金融风控请求打上 high_priority 标签，强制用高精度。2）实时特征——如果请求的输入文本长度 > 4K 或包含罕见词（词频 < 0.1%），自动升级为高精度。3）系统状态——当 CPU/GPU 利用率 > 80% 时，所有请求降级到低精度，但记录降级日志用于事后分析。实现上，用 Redis 存储优先级映射表，推理服务启动时加载，支持热更新。

追问 3：如果用户要求 p99 延迟 < 100ms，同时准确率不低于 95%，你怎么设计？

先做可行性分析：假设基座是 Llama-3-8B，FP16 下 p99 约 200ms（batch=1），达不到。方案：1）模型压缩——用 INT4 量化 + FlashAttention-2，p99 降到 80ms。2）精度验证——在验证集上测试，如果准确率从 96% 掉到 94%，则用知识蒸馏补回 1%：用 Llama-3-70B 生成 5 万条 hard example 的 soft label，fine-tune 8B。3）部署时加 fallback——如果 p99 超过 100ms，自动切到更小的模型（如 3B），但只对非核心请求生效。最终可能达到 p99=90ms，准确率=95.2%。

5️⃣ 避坑 · 常见错误答法

❌ 只谈量化好处，不提精度损失和校准数据的重要性 → ✅ 必须说明量化需要校准数据集（如 500 条代表性样本），并监控 outlier channel，否则精度可能崩盘。
❌ 说“用更小的模型就能解决所有问题” → ✅ 小模型在复杂推理上掉点严重，需要结合蒸馏或动态切换，不能一刀切。
❌ 忽略解码策略对延迟的影响，只谈模型大小 → ✅ 解码策略（greedy vs beam search）能差 4 倍延迟，且精度差异可能很小，是低成本优化点。

6️⃣ 简历呼应

如果你有 RAG 项目：从检索+生成两阶段切入——检索用 BM25（快但精度低）和 DPR（慢但精度高）动态切换，生成用 INT8 量化。强调端到端延迟优化。
如果你只做过传统 NLP：用 BERT 分类任务类比——量化后 F1 从 0.92 降到 0.90，但推理速度提升 2 倍，在 1000 QPS 场景下更划算。展示你对 trade-off 的量化能力。
如果你是校招无项目：聚焦论文复现——比如复现 SmoothQuant 论文，在 BERT-base 上做 INT8 量化，对比 GLUE 准确率和延迟，并设计一个简单的动态切换 demo（用 Python 脚本模拟负载变化）。
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot
TensorRT Inference Server 官方文档：动态 batch 和精度调度最佳实践

—— 本场面试完 ——