AgentAlpha · 面试间← 返回主站

公司题库 · 蔚来

蔚来大模型 Agent 面试题

智能座舱与车载语音 Agent 场景，端侧部署、低延迟与多模态交互是特色方向。

题目口径：来自 蔚来、NIO 等公开渠道的面经与岗位 JD 高频归纳，不是内部真题。 按大家实际被问到的方向整理，每题一页带答案与追问。

Q · 什么是 AI Agent？它和直接调用大模型有什么区别？直接调用是「一问一答」，Agent 是让模型在循环里自主使用工具、维护状态、根据反馈决定下一步，直到把目标做完。差的是「行动循环」，不是模型更强。
Q · ReAct 是什么？它是怎么跑起来的？ReAct 让模型交替输出「思考（Reason）」和「行动（Act）」：想一步该干什么、调一次工具、看一眼结果再想下一步，把推理过程和行动轨迹串成一个循环。
Q · ReAct、Plan-and-Execute、Reflection 三种范式有什么区别？怎么选？ReAct 边想边走适合路径不明的短任务，Plan-and-Execute 先立整体计划再分步执行适合步骤多的长任务，Reflection 在执行后自我审查再返工，三者常组合用而不是三选一。
Q · Agent 的记忆系统怎么设计？按寿命分层：上下文窗口是工作记忆，向量库放长期记忆，数据库放结构化事实；要点是定清楚「什么值得记、怎么检索回来、什么时候过期」。
Q · Agent 的上下文窗口不够用怎么办？四板斧：裁剪（丢旧留新）、压缩（长文摘要化）、外置（状态写进存储按需取回）、分流（子任务拆给独立上下文）。目标是让窗口只装当前决策需要的信息。
Q · Agent 为什么会陷入死循环？怎么检测和治理？死循环的根子是「模型看不到失败」：同一动作反复重试、两个工具互相踢皮球、错误输出被当成进展。治理靠检测（轨迹指纹、轮数预算、进度指标）加干预（升级提示、换路线、交还人）。
Q · Workflow 和 Agent 有什么区别？什么时候不该用 Agent？Workflow 是人写死的流程图，模型只填空；Agent 是模型自己决定下一步。流程稳定、错误代价高的场景用 Workflow，路径真不确定才上 Agent。能用 Workflow 解决的问题上 Agent 是负收益。
Q · Agent 的任务规划怎么做？为什么要先拆解再执行规划就是把目标拆成有依赖关系的子步骤，再按依赖顺序执行、根据每步反馈调整。先拆解是因为模型的上下文和可靠性都有限，大任务直接做容易在中途迷失。
Q · 业界说的 Agent Harness 是什么？为什么同一个模型换个框架效果差很多Harness 是模型外面那套工程框架：循环控制、上下文管理、工具执行、权限和日志。模型只负责决定下一步，剩下的都由 harness 决定，所以它直接决定效果上限。
Q · MoE（混合专家）是什么？为什么新模型纷纷改用 MoEMoE 是一种稀疏结构：模型总参数量很大，但每个 token 只激活其中一小部分专家。容量大、单步计算少，代价是所有参数都要常驻显存，部署门槛在显存。
Q · MoE 的负载均衡是什么？专家并行怎么切？负载均衡是为了防止路由偏科导致专家塌缩，传统靠辅助损失函数，现在有无损的偏置调整法；专家并行则是把不同专家放到不同GPU上，通过两次all-to-all通信完成分发和合并。
Q · 实时语音 Agent 的链路是什么？流式 ASR 和 TTS 怎么拼？实时语音链路分级联和端到端两类，流式拼接的核心是服务端 VAD 断句与客户端回声消除配合实现全双工打断，底层首选 WebRTC 避免 TCP 队头阻塞。
Q · 什么是 MCP？它的核心内容是什么？MCP 是 Anthropic 2024 年底推出的开放协议，解决工具接入碎片化：工具按协议实现一次、任何支持 MCP 的客户端都能复用，三层核心是 Host/Client/Server 角色、Tools/Resources/Prompts 能力、JSON-RPC 2.0 通信。
Q · 什么是 Function Calling？它的原理是什么？开发者用 JSON schema 描述工具传给模型，模型判断需要时输出结构化 tool_calls JSON 而非自然语言，宿主代码执行后把结果回填对话，模型再生成答案——模型只决策、代码执行，两轮对话完成一次调用。
Q · MCP 由哪几部分组成？三层看：角色层 Host/Client/Server（Host 是宿主应用，Client 是其通信模块，一 Host 连多 Server）；能力层 Tools/Resources/Prompts 三类；协议层 JSON-RPC 2.0 加 stdio 或 Streamable HTTP 传输。
Q · self-attention 为什么要把矩阵拆成 Q、K、V？核心是为了让匹配与内容解耦。Q 和 K 负责相似度匹配，决定找什么和去哪找。V 携带实际提取出的内容。拆分能避免单矩阵自乘导致的表达力受限，让同一批词用不同关注模式取不同信息。
Q · 多模态融合有哪几种方式？各是什么思路？多模态融合分为早期、中期和晚期三种。早期在特征层合并，保留信息多但对齐难；中期在中间层注意力交互，是当前主流；晚期在决策级合并，实现简单但易丢失交互信息。
Q · 235B 的 MoE 模型，训练算力怎么估算？估算 MoE 模型训练算力的核心是确认激活参数量。用 token 数乘激活参数量及三倍前向系数得出总 FLOPs，再除以扣除通信与负载不均损耗的集群有效算力。
Q · Planner 生成的计划不可执行时，Executor 怎么反馈和触发 Replan？Executor 通过结构化反馈失败步骤、失败类型和已完成结果，让 Planner 增量修改计划。缺参数就地补齐，步骤依赖断裂才触发 Replan，超限直接降级转人工。
Q · Agent 的停止条件怎么设计？怎么避免死循环和无限反思？Agent 停止条件分正常完成、预算耗尽和异常终止三类。避免死循环需检测重复状态与动作，限制连续无进展步数，并为反思机制设置计次上限。停止后应交付已完成部分与未完成清单。
Q · 任务失败、工具失败、模型失败、权限失败怎么区分？恢复策略各是什么？区分这四类失败的核心是按层级归因。权限失败需申请或换路径，工具失败走重试降级，模型失败要重生成或换模型，任务失败需人介入或重规划。
Q · Function Calling、MCP、REST API 和本地 CLI 的职责边界是什么？这四者分属不同层级。REST API 是通用网络接口，CLI 是本地进程入口，Function Calling 是模型表达调用的数据格式，MCP 是 AI 客户端接入工具的协议标准。一次调用可贯穿四层。
Q · 工具调用的超时、重试、幂等、补偿和熔断怎么实现？工具调用的稳定性需分层实现。超时按工具分级，重试仅限查询类幂等操作，幂等靠请求去重键实现。非幂等失败走反向补偿或人工对账，连续失败触发熔断并降级使用缓存。
Q · 单 Agent、Supervisor-Worker、层级式、去中心化多 Agent 怎么选型？选型按任务耦合度与规模决定。默认从单 Agent 起步。Supervisor-Worker 适合可并行拆分的子任务。层级式适合控制大规模组织的通信复杂度。去中心化适合无中心决策场景，但调试成本高。
Q · 一次 Agent 任务怎么控制 Token、模型、检索和工具的总成本？核心是先计量后控制，把预算挂在任务维度。系统按环节拆解记账，通过分级路由、上下文压缩和缓存降低消耗，最后用任务级预算熔断精确止血。
Q · 任务成功率、步骤正确率、工具成功率和答案质量怎么做分层归因？采用自下而上的归因排查路径，依次测试工具调用层、规划层、生成层和端到端层，确保精准定位到底坏在哪一层。
Q · GRPO 训练 MoE 模型会遇到什么问题？怎么改进？GRPO 训练 MoE 要处理专家负载不均衡、稀疏奖励下组内方差归零和 KL 方差过大三类问题；可调负载均衡损失权重，联动组大小与采样温度，用 k3 估计 KL 并加入损失。
Q · MoE 和 Dense 模型，训练与推理的差异有哪些？MoE 训练要处理负载均衡和专家通信，推理只激活部分专家但仍需装下全部参数；算力受限选 Dense，要规模上限选 MoE。
Q · 知道哪些注意力机制？我会按族谱回答：MHA 是基线，MQA、GQA 和 MLA 主要围绕 KV Cache 做压缩，稀疏注意力降低长文本复杂度，Flash Attention 做算子级优化。
Q · 百川、千问、LLaMA 的位置编码怎么做的？有什么区别？LLaMA 和千问主要采用 RoPE，百川部分版本采用可学习绝对位置编码，核心差别在于相对位置方案更容易配合外推技巧扩展上下文。
Q · 多模态了解吗？说说主流架构。主流多模态架构可从表征、融合、生成三层理解：CLIP做图文对齐，BLIP-2和Flamingo做跨模态融合，LLaVA类路线把视觉信息接入LLM完成生成。
Q · 讲讲 Transformer 的结构。Transformer 按数据流由输入嵌入、位置信息、N 层网络和输出层组成；每层用多头自注意力交换信息，用前馈网络变换特征，并用残差连接与归一化保证训练稳定。
Q · Agent 评估体系怎么设计？Planning 能力和幻觉率怎么量化？我会分层评估：用任务完成率、步骤效率和工具选择准确率衡量 Planning，用知识库核查、自洽性检查和人工抽样衡量幻觉率，再看端到端成功率、满意度、延迟和 token 成本。
Q · Agent 的 A/B 测试框架怎么设计？怎么评估改动收益？Agent 的 A/B 测试要按用户分桶，以任务完成率衡量收益，用安全率、延迟和成本守住护栏，再结合多轮过程指标、自动评估与人工对齐，按灰度阶段放量并支持自动回滚。
Q · 怎么用修改损失函数解决 MoE 负载均衡？在原任务损失上加入辅助均衡损失，度量各专家负载偏离均匀分布的程度，再用系数控制均衡与专家专业化之间的权衡。
Q · 生产级语音识别要解决哪些真实环境的问题？流式识别的架构是什么样的？真实环境的难点是噪声、远场、方言、口音和专有词；流式架构是音频流分片、增量解码、中间结果修正加端点检测，工程指标是延迟和字错率的平衡。
Q · 语音合成（TTS）的自然度难在哪？声音克隆的伦理和技术边界怎么把握？自然度的关键是韵律（停顿、重音、语调）和情感表达，难点从「读对字」转到「说人话」；声音克隆要用授权同意加水印溯源加场景限定管住伦理风险。
Q · 语音 Agent 的实时对话链路怎么设计？全双工交互（可随时打断）难在哪？链路是识别、理解、生成、合成四段串行，首响应延迟要压进秒级；全双工的难点在回声消除、打断检测和可抢占的生成管线，延迟预算要逐段核算。
Q · 车载语音助手（如 NOMI 这类）和手机语音助手的技术差异在哪？车载场景的约束是噪声大、驾驶安全第一、全家人共用一台设备、网络不稳；技术上要远场降噪、免唤醒多音区交互、离线兜底，交互设计上驾驶分心控制是红线。
Q · 智能座舱的多模态交互（语音、视觉、手势）怎么融合设计？决策冲突怎么处理？多模态融合按「意图置信度」决策：各通道独立识别、中心仲裁按置信度和场景权重选主通道，冲突时语音优先、安全场景保守；融合的目标是补盲而不是炫技，每加一个模态要回答提升了什么。
Q · 车载场景的端云协同 AI 架构怎么设计？哪些能力上车、哪些留在云端？划分原则是安全实时上端侧、复杂智能上云端：车控和感知兜底必须端侧毫秒级，开放对话和推荐走云端，链路上做离线降级和结果缓存，OTA 是能力迭代的通道。
Q · 自动驾驶里的「世界模型」是什么？和语言模型、和传统感知规划有什么区别？世界模型是学习环境演化规律的视频预测式生成模型，用「预测下一帧」的方式获得对物理场景的理解；它补传统感知规划链路对长尾场景和后果推演的短板，落地难点是可控性、实时性和评测。
Q · 车上的 AI Agent 延迟和功能安全怎么平衡？「答得快」和「不出错」冲突时怎么取舍？按操作风险分级：车控和安全类走确定性链路宁慢不错，信息娱乐类走生成链路宁快可错；延迟预算按交互类型设定，错误容忍度和纠错成本成反比。
Q · 车载 AI 助手的用户记忆和个性化怎么做？多乘员共用一台车的情况怎么处理？记忆按人隔离：声纹加座位定位区分乘员，每人独立画像和历史；记忆内容聚焦高频车控偏好和行程模式，敏感对话内容默认不记忆，换手二手车要能一键清空。
Q · VLM 里视觉编码器和 LLM 之间怎么连接？线性投影、Q-Former、MLP 各差在哪？视觉与文本分布不同，需连接层做对齐。大上下文时代主流是 MLP，因其保留全部视觉 token 且成本可控，不丢细节。Q-Former 压缩率高但丢细节，线性投影则表达能力有限。
Q · 多模态模型的幻觉主要来自哪里？怎么缓解？幻觉主要来自视觉信息丢失、语言先验压过图像事实，以及图文弱相关训练数据。缓解时需区分感知性与知识性幻觉，前者靠高分辨率输入、强制视觉溯源解决，后者靠RAG补外部知识，并在规则侧用检测器交叉校验。
Q · 多模态数据里图文不一致的样本，训练时和上线后分别怎么处理？训练阶段先用CLIP类模型打分清洗数据，同时保留少量标注为矛盾的样本教模型学会拒答；上线后靠前置相关性检测拦截，并结合提示词约束模型只依据图像作答。
Q · 多模态训练中文本主导、图像被忽略，怎么发现和解决？先通过模态消融评测和训练侧梯度监控确认图像是否被忽略，然后从数据端提升图文强相关样本比例，并在训练侧分阶段解冻或调整视觉分支学习率来解决。
Q · VLM 怎么减少 vision token？视觉 token 太多带来什么问题？视觉 token 太多会挤占上下文预算并推高延迟，减少 token 的方法包括降低分辨率、Patch 合并、池化压缩、学习型压缩和动态分辨率，实际应用中通常根据任务容忍度选择压缩档位。
Q · Agent Skills（技能包）是什么？它和 MCP、提示词是什么关系Skills 把完成一类任务的说明文档、脚本和资源打包成一个文件夹，模型按需读取里面的说明来加载做法。MCP 管工具怎么接进来，Skills 管流程和知识怎么按需装载。