AgentAlpha · 面试间← 返回主站

公司题库 · 商汤科技

商汤科技大模型 Agent 面试题

多模态与具身智能方向：视觉语言 Agent、GUI 理解操作、多模态训练与评估题密度高。

题目口径：来自 商汤、SenseTime 等公开渠道的面经与岗位 JD 高频归纳，不是内部真题。 按大家实际被问到的方向整理，每题一页带答案与追问。

Q · 什么是 AI Agent？它和直接调用大模型有什么区别？直接调用是「一问一答」，Agent 是让模型在循环里自主使用工具、维护状态、根据反馈决定下一步，直到把目标做完。差的是「行动循环」，不是模型更强。
Q · ReAct 是什么？它是怎么跑起来的？ReAct 让模型交替输出「思考（Reason）」和「行动（Act）」：想一步该干什么、调一次工具、看一眼结果再想下一步，把推理过程和行动轨迹串成一个循环。
Q · ReAct、Plan-and-Execute、Reflection 三种范式有什么区别？怎么选？ReAct 边想边走适合路径不明的短任务，Plan-and-Execute 先立整体计划再分步执行适合步骤多的长任务，Reflection 在执行后自我审查再返工，三者常组合用而不是三选一。
Q · Agent 的记忆系统怎么设计？按寿命分层：上下文窗口是工作记忆，向量库放长期记忆，数据库放结构化事实；要点是定清楚「什么值得记、怎么检索回来、什么时候过期」。
Q · Agent 的上下文窗口不够用怎么办？四板斧：裁剪（丢旧留新）、压缩（长文摘要化）、外置（状态写进存储按需取回）、分流（子任务拆给独立上下文）。目标是让窗口只装当前决策需要的信息。
Q · Agent 为什么会陷入死循环？怎么检测和治理？死循环的根子是「模型看不到失败」：同一动作反复重试、两个工具互相踢皮球、错误输出被当成进展。治理靠检测（轨迹指纹、轮数预算、进度指标）加干预（升级提示、换路线、交还人）。
Q · Workflow 和 Agent 有什么区别？什么时候不该用 Agent？Workflow 是人写死的流程图，模型只填空；Agent 是模型自己决定下一步。流程稳定、错误代价高的场景用 Workflow，路径真不确定才上 Agent。能用 Workflow 解决的问题上 Agent 是负收益。
Q · Agent 的任务规划怎么做？为什么要先拆解再执行规划就是把目标拆成有依赖关系的子步骤，再按依赖顺序执行、根据每步反馈调整。先拆解是因为模型的上下文和可靠性都有限，大任务直接做容易在中途迷失。
Q · 业界说的 Agent Harness 是什么？为什么同一个模型换个框架效果差很多Harness 是模型外面那套工程框架：循环控制、上下文管理、工具执行、权限和日志。模型只负责决定下一步，剩下的都由 harness 决定，所以它直接决定效果上限。
Q · MoE（混合专家）是什么？为什么新模型纷纷改用 MoEMoE 是一种稀疏结构：模型总参数量很大，但每个 token 只激活其中一小部分专家。容量大、单步计算少，代价是所有参数都要常驻显存，部署门槛在显存。
Q · MoE 的负载均衡是什么？专家并行怎么切？负载均衡是为了防止路由偏科导致专家塌缩，传统靠辅助损失函数，现在有无损的偏置调整法；专家并行则是把不同专家放到不同GPU上，通过两次all-to-all通信完成分发和合并。
Q · 什么是 MCP？它的核心内容是什么？MCP 是 Anthropic 2024 年底推出的开放协议，解决工具接入碎片化：工具按协议实现一次、任何支持 MCP 的客户端都能复用，三层核心是 Host/Client/Server 角色、Tools/Resources/Prompts 能力、JSON-RPC 2.0 通信。
Q · 什么是 Function Calling？它的原理是什么？开发者用 JSON schema 描述工具传给模型，模型判断需要时输出结构化 tool_calls JSON 而非自然语言，宿主代码执行后把结果回填对话，模型再生成答案——模型只决策、代码执行，两轮对话完成一次调用。
Q · MCP 由哪几部分组成？三层看：角色层 Host/Client/Server（Host 是宿主应用，Client 是其通信模块，一 Host 连多 Server）；能力层 Tools/Resources/Prompts 三类；协议层 JSON-RPC 2.0 加 stdio 或 Streamable HTTP 传输。
Q · self-attention 为什么要把矩阵拆成 Q、K、V？核心是为了让匹配与内容解耦。Q 和 K 负责相似度匹配，决定找什么和去哪找。V 携带实际提取出的内容。拆分能避免单矩阵自乘导致的表达力受限，让同一批词用不同关注模式取不同信息。
Q · 多模态融合有哪几种方式？各是什么思路？多模态融合分为早期、中期和晚期三种。早期在特征层合并，保留信息多但对齐难；中期在中间层注意力交互，是当前主流；晚期在决策级合并，实现简单但易丢失交互信息。
Q · 235B 的 MoE 模型，训练算力怎么估算？估算 MoE 模型训练算力的核心是确认激活参数量。用 token 数乘激活参数量及三倍前向系数得出总 FLOPs，再除以扣除通信与负载不均损耗的集群有效算力。
Q · LayerNorm 和 BatchNorm 的区别？为什么 Transformer 用前者？BatchNorm 沿 batch 维度归一化，依赖批统计量，处理变长序列不稳。LayerNorm 沿特征维度逐样本归一化，与 batch 无关，适合 Transformer 处理变长文本。
Q · Planner 生成的计划不可执行时，Executor 怎么反馈和触发 Replan？Executor 通过结构化反馈失败步骤、失败类型和已完成结果，让 Planner 增量修改计划。缺参数就地补齐，步骤依赖断裂才触发 Replan，超限直接降级转人工。
Q · Agent 的停止条件怎么设计？怎么避免死循环和无限反思？Agent 停止条件分正常完成、预算耗尽和异常终止三类。避免死循环需检测重复状态与动作，限制连续无进展步数，并为反思机制设置计次上限。停止后应交付已完成部分与未完成清单。
Q · 任务失败、工具失败、模型失败、权限失败怎么区分？恢复策略各是什么？区分这四类失败的核心是按层级归因。权限失败需申请或换路径，工具失败走重试降级，模型失败要重生成或换模型，任务失败需人介入或重规划。
Q · Function Calling、MCP、REST API 和本地 CLI 的职责边界是什么？这四者分属不同层级。REST API 是通用网络接口，CLI 是本地进程入口，Function Calling 是模型表达调用的数据格式，MCP 是 AI 客户端接入工具的协议标准。一次调用可贯穿四层。
Q · 工具调用的超时、重试、幂等、补偿和熔断怎么实现？工具调用的稳定性需分层实现。超时按工具分级，重试仅限查询类幂等操作，幂等靠请求去重键实现。非幂等失败走反向补偿或人工对账，连续失败触发熔断并降级使用缓存。
Q · 单 Agent、Supervisor-Worker、层级式、去中心化多 Agent 怎么选型？选型按任务耦合度与规模决定。默认从单 Agent 起步。Supervisor-Worker 适合可并行拆分的子任务。层级式适合控制大规模组织的通信复杂度。去中心化适合无中心决策场景，但调试成本高。
Q · 一次 Agent 任务怎么控制 Token、模型、检索和工具的总成本？核心是先计量后控制，把预算挂在任务维度。系统按环节拆解记账，通过分级路由、上下文压缩和缓存降低消耗，最后用任务级预算熔断精确止血。
Q · 任务成功率、步骤正确率、工具成功率和答案质量怎么做分层归因？采用自下而上的归因排查路径，依次测试工具调用层、规划层、生成层和端到端层，确保精准定位到底坏在哪一层。
Q · GRPO 训练 MoE 模型会遇到什么问题？怎么改进？GRPO 训练 MoE 要处理专家负载不均衡、稀疏奖励下组内方差归零和 KL 方差过大三类问题；可调负载均衡损失权重，联动组大小与采样温度，用 k3 估计 KL 并加入损失。
Q · MoE 和 Dense 模型，训练与推理的差异有哪些？MoE 训练要处理负载均衡和专家通信，推理只激活部分专家但仍需装下全部参数；算力受限选 Dense，要规模上限选 MoE。
Q · 知道哪些注意力机制？我会按族谱回答：MHA 是基线，MQA、GQA 和 MLA 主要围绕 KV Cache 做压缩，稀疏注意力降低长文本复杂度，Flash Attention 做算子级优化。
Q · 百川、千问、LLaMA 的位置编码怎么做的？有什么区别？LLaMA 和千问主要采用 RoPE，百川部分版本采用可学习绝对位置编码，核心差别在于相对位置方案更容易配合外推技巧扩展上下文。
Q · 多模态了解吗？说说主流架构。主流多模态架构可从表征、融合、生成三层理解：CLIP做图文对齐，BLIP-2和Flamingo做跨模态融合，LLaVA类路线把视觉信息接入LLM完成生成。
Q · 讲讲 Transformer 的结构。Transformer 按数据流由输入嵌入、位置信息、N 层网络和输出层组成；每层用多头自注意力交换信息，用前馈网络变换特征，并用残差连接与归一化保证训练稳定。
Q · Agent 评估体系怎么设计？Planning 能力和幻觉率怎么量化？我会分层评估：用任务完成率、步骤效率和工具选择准确率衡量 Planning，用知识库核查、自洽性检查和人工抽样衡量幻觉率，再看端到端成功率、满意度、延迟和 token 成本。
Q · Agent 的 A/B 测试框架怎么设计？怎么评估改动收益？Agent 的 A/B 测试要按用户分桶，以任务完成率衡量收益，用安全率、延迟和成本守住护栏，再结合多轮过程指标、自动评估与人工对齐，按灰度阶段放量并支持自动回滚。
Q · 怎么用修改损失函数解决 MoE 负载均衡？在原任务损失上加入辅助均衡损失，度量各专家负载偏离均匀分布的程度，再用系数控制均衡与专家专业化之间的权衡。
Q · 多模态 Agent 怎么融合视觉、语言、语音信息做决策？早期融合和晚期融合怎么选？融合方式分早期、晚期、混合三种：早期融合跨模态交互充分但对模型要求高，晚期融合模块化强但会丢跨模态信息，工程上通常按模态重要性做混合融合。
Q · 怎么设计一个能看懂屏幕并操作 GUI 界面的视觉 Agent？GUI Agent 的链路是截屏感知、意图理解、动作执行、状态验证四步循环；难点在动态页面干扰、坐标精度和多步误差累积。
Q · 具身智能里大模型 Agent 怎么与物理世界交互？核心挑战有哪些？大模型在具身智能里负责高层规划、场景理解和动作翻译；核心挑战是实时性、物理安全、Grounding 差距和 Sim-to-Real 差距。
Q · 视觉 Agent 的评估体系和纯文本 Agent 有什么不同？要多考虑哪些维度？视觉 Agent 额外要评视觉定位精度、空间推理、OCR 准确率、多帧一致性、操作生效率和视觉幻觉；方法上用专项 benchmark 加自动操作对比加人工兜底。
Q · 训练一个多模态 Agent，数据怎么收集和标注？整条数据链路是什么样的？数据链路是指令、图像、操作序列三方配对，来源有人工标注、模拟环境生成、强弱模型自博弈、线上回流四类；多模态标注成本高，工具和质检是关键。
Q · 视觉定位（Visual Grounding）是什么？Agent 要「点对位置」为什么难？视觉定位是把语言描述映射到图中具体区域的任务；难在语言和像素的粒度差、指代表达的歧义、小目标和密集排布，以及预测坐标的毫米级误差直接导致操作失败。
Q · 视频理解 Agent 和图像理解 Agent 的技术差异在哪？长视频怎么处理？视频多了时间维度，要解决帧采样、时序建模、跨帧追踪和长视频 token 爆炸；工程上按关键帧抽取加分层摘要控制成本，用多帧一致性指标评估。
Q · 多模态 Agent 里的 OCR 环节怎么设计？复杂版面和小字场景怎么优化？OCR 在 Agent 里不是独立识别文字，而是服务于下游操作：检测、识别、结构化三步，复杂版面加版面分析，小字靠超分和放大重采，识别结果要和坐标绑定供定位使用。
Q · 视觉大模型和专用小模型（检测/分割/OCR）在视觉 Agent 里怎么分工？分工原则是理解归大模型、硬指标归专用模型：大模型负责语义理解和跨模态推理，检测分割 OCR 这类精度敏感、吞吐敏感的环节用专用模型，两层用结构化中间表示衔接。
Q · VLM 里视觉编码器和 LLM 之间怎么连接？线性投影、Q-Former、MLP 各差在哪？视觉与文本分布不同，需连接层做对齐。大上下文时代主流是 MLP，因其保留全部视觉 token 且成本可控，不丢细节。Q-Former 压缩率高但丢细节，线性投影则表达能力有限。
Q · 多模态模型的幻觉主要来自哪里？怎么缓解？幻觉主要来自视觉信息丢失、语言先验压过图像事实，以及图文弱相关训练数据。缓解时需区分感知性与知识性幻觉，前者靠高分辨率输入、强制视觉溯源解决，后者靠RAG补外部知识，并在规则侧用检测器交叉校验。
Q · 多模态数据里图文不一致的样本，训练时和上线后分别怎么处理？训练阶段先用CLIP类模型打分清洗数据，同时保留少量标注为矛盾的样本教模型学会拒答；上线后靠前置相关性检测拦截，并结合提示词约束模型只依据图像作答。
Q · 多模态训练中文本主导、图像被忽略，怎么发现和解决？先通过模态消融评测和训练侧梯度监控确认图像是否被忽略，然后从数据端提升图文强相关样本比例，并在训练侧分阶段解冻或调整视觉分支学习率来解决。
Q · VLM 怎么减少 vision token？视觉 token 太多带来什么问题？视觉 token 太多会挤占上下文预算并推高延迟，减少 token 的方法包括降低分辨率、Patch 合并、池化压缩、学习型压缩和动态分辨率，实际应用中通常根据任务容忍度选择压缩档位。
Q · Agent Skills（技能包）是什么？它和 MCP、提示词是什么关系Skills 把完成一类任务的说明文档、脚本和资源打包成一个文件夹，模型按需读取里面的说明来加载做法。MCP 管工具怎么接进来，Skills 管流程和知识怎么按需装载。