岗位方向 · TRACK

AI Infra面试题

推理与训练系统：vLLM、量化、并行策略、显存与吞吐优化、服务化。

11 道题 · 题目口径为公开面经与岗位 JD 的高频归纳

Q · 数据并行、张量并行、流水线并行分别解决什么？ZeRO 又是什么？数据并行切分数据，张量并行切分层内权重，流水线并行按层切分模型。ZeRO 是数据并行的显存优化技术，通过分片优化器状态、梯度和参数来节省显存。

Q · 235B 的 MoE 模型，训练算力怎么估算？估算 MoE 模型训练算力的核心是确认激活参数量。用 token 数乘激活参数量及三倍前向系数得出总 FLOPs，再除以扣除通信与负载不均损耗的集群有效算力。

Q · AWQ、GPTQ 和 FP8 量化怎么选？硬件新首选FP8，精度损失小且免校准。追求极限显存压缩选AWQ，INT4下精度更好且量化快。考虑生态兼容性选GPTQ。

Q · 推理服务压测怎么设计？为什么只看平均吞吐会掩盖 P99 抖动？平均吞吐会平均掉长尾请求，掩盖极差的用户体验。推理服务压测必须模拟真实流量形态，采集分位延迟、失败率与队列深度，并单独测试长上下文请求。

Q · Qwen 系列模型怎么选 vLLM、SGLang 或其他推理引擎？默认用 vLLM，结构化输出和复杂解码需求优先试 SGLang，只有在追求极限性能时再考虑 TensorRT-LLM，并评估工程门槛与硬件绑定。

Q · 多模型网关怎么按任务难度、SLA、价格和安全等级动态路由？先按任务类型粗分，再结合用户SLA与预算选择模型；敏感场景强制指定模型，并用小模型判断难度，实时权衡价格与延迟，配合超时降级和按路由维度记账。

Q · 模型和 Prompt 升级怎么做灰度、影子流量、回滚和会话粘性？先按流量百分比或租户灰度并监控核心指标，再用影子流量对比输出质量；指标越线自动回滚，且让同一会话固定版本。

Q · 多 LoRA Adapter 在线服务，怎么隔离、切换和控制显存？基座常驻显存，Adapter 按需热加载；请求携带标识，调度按 Adapter 分组或支持批内混 LoRA；用常驻上限和 LRU 控显存，网关按业务隔离权限、配额与版本。

Q · 云端大模型不可用时，边缘或小模型降级链路怎么保证基本功能？按主模型、备用区域或备用模型、本地小模型、规则与 FAQ 模板分级降级，同时砍掉复杂任务，保住高频简单查询，并提前演练。

Q · MoE 和 Dense 模型，训练与推理的差异有哪些？MoE 训练要处理负载均衡和专家通信，推理只激活部分专家但仍需装下全部参数；算力受限选 Dense，要规模上限选 MoE。

Q · 微调占用显存多大？跟哪些因素有关？显存主要花在参数、梯度、优化器状态和激活值上。7B 全参微调需要百 GB 级显存；LoRA 降到几十 GB，QLoRA 还能降低基座占用。

其他岗位方向

Agent 开发 · 104 题Agent 应用与平台工程：工具调用、上下文工程、记忆系统、多 Agent 编排、上线与稳定性。

Agent 算法 · 27 题Agentic RL 与后训练：SFT/RLHF/DPO/GRPO、奖励设计、轨迹数据、评测对齐。

AI 算法应用 · 37 题大模型应用算法：RAG 全链路、检索排序、微调选型、业务效果优化。

多模态算法 · 6 题视觉语言模型与多模态：融合架构、CLIP 系、VLM 评估与训练。

通用算法基础 · 31 题各岗通用底座：Transformer、注意力、采样参数、正则化等基础原理。