AgentAlpha · 面试间← 返回主站

公司题库 · OpenAI

OpenAI大模型 Agent 面试题

Agent 对齐与工具调用底层：RLHF 在 Agent 的应用、推理模型的取舍、Function Calling 原理。

题目口径：来自 OpenAI、GPT 等公开渠道的面经与岗位 JD 高频归纳，不是内部真题。 按大家实际被问到的方向整理，每题一页带答案与追问。

Q · 什么是 AI Agent？它和直接调用大模型有什么区别？直接调用是「一问一答」，Agent 是让模型在循环里自主使用工具、维护状态、根据反馈决定下一步，直到把目标做完。差的是「行动循环」，不是模型更强。
Q · ReAct 是什么？它是怎么跑起来的？ReAct 让模型交替输出「思考（Reason）」和「行动（Act）」：想一步该干什么、调一次工具、看一眼结果再想下一步，把推理过程和行动轨迹串成一个循环。
Q · ReAct、Plan-and-Execute、Reflection 三种范式有什么区别？怎么选？ReAct 边想边走适合路径不明的短任务，Plan-and-Execute 先立整体计划再分步执行适合步骤多的长任务，Reflection 在执行后自我审查再返工，三者常组合用而不是三选一。
Q · Agent 的上下文窗口不够用怎么办？四板斧：裁剪（丢旧留新）、压缩（长文摘要化）、外置（状态写进存储按需取回）、分流（子任务拆给独立上下文）。目标是让窗口只装当前决策需要的信息。
Q · Agent 为什么会陷入死循环？怎么检测和治理？死循环的根子是「模型看不到失败」：同一动作反复重试、两个工具互相踢皮球、错误输出被当成进展。治理靠检测（轨迹指纹、轮数预算、进度指标）加干预（升级提示、换路线、交还人）。
Q · Workflow 和 Agent 有什么区别？什么时候不该用 Agent？Workflow 是人写死的流程图，模型只填空；Agent 是模型自己决定下一步。流程稳定、错误代价高的场景用 Workflow，路径真不确定才上 Agent。能用 Workflow 解决的问题上 Agent 是负收益。
Q · Agent 的任务规划怎么做？为什么要先拆解再执行规划就是把目标拆成有依赖关系的子步骤，再按依赖顺序执行、根据每步反馈调整。先拆解是因为模型的上下文和可靠性都有限，大任务直接做容易在中途迷失。
Q · 业界说的 Agent Harness 是什么？为什么同一个模型换个框架效果差很多Harness 是模型外面那套工程框架：循环控制、上下文管理、工具执行、权限和日志。模型只负责决定下一步，剩下的都由 harness 决定，所以它直接决定效果上限。
Q · Token 是什么？为什么大模型按 Token 计费Token 是模型处理文本的最小单位，由分词器把文字切开得到，一个 token 约半个到一个英文单词或一到两个汉字。按 token 计费是因为计算量和显存占用都由 token 数决定。
Q · Scaling Law 是什么？为什么大家相信堆算力有用Scaling Law 指模型 loss 随参数量、数据量、算力的增长按幂律平滑下降的经验规律。它让加大投入的收益变得可预测，是行业敢持续堆算力的主要依据。
Q · SFT（监督微调）是什么？和预训练有什么区别预训练是让模型在海量无标注文本上学「下一个词怎么接」，SFT 是用人工写好的问答对教它「别人问什么该怎么答」。前者给能力，后者给用法。
Q · LoRA 是什么？为什么微调大家都在用它LoRA 冻结原模型权重，在旁边加一对小矩阵只训练它们，用远小于全量微调的参数量达到接近的效果。省显存、好切换、可插拔，所以成了默认选择。
Q · DPO 和 PPO 有什么区别？为什么很多团队改用 DPOPPO 是在 RLHF 里用强化学习：奖励模型打分，模型在训练循环里反复采样更新。DPO 把同一目标改写成直接在偏好对上优化，不需要奖励模型，也没有采样循环，工程上省事得多。
Q · GRPO 是什么？它比 PPO 省在哪GRPO 用「组内比较」代替价值网络：同一个问题让模型采出一组回答，按组内相对好坏分配奖励来更新策略。省掉了和策略模型差不多大的价值模型，显存和算力都省下来。
Q · 微调的数据怎么准备？多少条数据才够先定任务和输出格式，再收集贴近真实输入的数据，清洗、统一格式、划分训练验证集。数量没有定论，几千到几万条这个量级常见，但质量比条数重要得多。
Q · 微调完模型「变笨」了怎么办？灾难性遗忘怎么防灾难性遗忘是模型在新任务数据上训练后，原有的通用能力明显退化的现象。防法核心是别让训练分布太窄：混入通用数据、控制训练强度、用 LoRA 这类只动小部分参数的方法。
Q · Reward Model 是什么？Reward Hacking 怎么发现、怎么防？Reward Model 把人类偏好学成奖励分数，在强化学习阶段指导策略；Reward Hacking 是策略刷高分但实际变差，要靠人评对照、漂移监控、策略约束和持续重训来控制。
Q · GRPO 训练要盯哪些指标？熵坍塌和组内奖励方差为零分别怎么处理？GRPO 训练需盯紧奖励、策略熵、KL散度和组内奖励方差。应对熵坍塌可采用熵正则、降低KL约束或clip-higher；处理组内方差为零需引入动态采样过滤无效组，并优化奖励判据的难度分层。
Q · SFT 训到什么程度可以切 RL？切换的判断标准是什么？SFT 阶段需确保模型掌握基本任务能力且输出格式稳定，当验证集指标进入平台期、格式合规率达标且正确率非零时即可切 RL，避免探索成本过高。
Q · KV Cache 是什么？没有它为什么就快不起来生成每个新词都要和前面所有词做注意力计算，KV Cache 把前面词算好的键值中间结果存下来复用，每步只算新词自己那份，省掉绝大部分重复计算。
Q · vLLM 为什么快？PagedAttention 解决了什么问题vLLM 快的核心是 PagedAttention：把 KV Cache 像操作系统管内存分页那样按小块管理，显存几乎零浪费，同样显存能装下更多并发请求，吞吐自然上去。
Q · 模型量化是什么？INT4、INT8 压缩会不会伤效果量化把权重从 FP16 这类高精度数映射到 INT8、INT4 的低精度数，显存和搬运量降到二分之一或四分之一；做得细损失很小，做得糙会明显掉点，上线前要用目标任务验证。
Q · 什么是 MCP？它的核心内容是什么？MCP 是 Anthropic 2024 年底推出的开放协议，解决工具接入碎片化：工具按协议实现一次、任何支持 MCP 的客户端都能复用，三层核心是 Host/Client/Server 角色、Tools/Resources/Prompts 能力、JSON-RPC 2.0 通信。
Q · 线上跑的 RAG 怎么衡量效果好不好？分两层：检索层用 Hit@K 看该召回的有没有进前 K、MRR 看排多前，生成层用忠实度、答案相关性、上下文召回率这类 LLM 裁判指标；线上最终看点踩率、追问率、转人工率。
Q · 什么是 Function Calling？它的原理是什么？开发者用 JSON schema 描述工具传给模型，模型判断需要时输出结构化 tool_calls JSON 而非自然语言，宿主代码执行后把结果回填对话，模型再生成答案——模型只决策、代码执行，两轮对话完成一次调用。
Q · MCP 由哪几部分组成？三层看：角色层 Host/Client/Server（Host 是宿主应用，Client 是其通信模块，一 Host 连多 Server）；能力层 Tools/Resources/Prompts 三类；协议层 JSON-RPC 2.0 加 stdio 或 Streamable HTTP 传输。
Q · 大模型的工具调用能力是怎么训练出来的？预训练语料里没有结构化调用样本、学不会；靠两个阶段：SFT 喂全场景的工具调用对话学会「怎么调」，RLHF 用偏好信号学会「什么时候不该调」，一句话——SFT 教会怎么调，RLHF 教会什么时候调。
Q · SFT 加 DPO 的训练数据怎么组织？SFT 数据组织成指令与回答对，覆盖单轮、多轮及工具调用场景并作难度分层。DPO 数据组织成偏好对，需严格控制采纳与拒绝回答的长度均衡，防止模型学会写长。
Q · 为什么选 GRPO 而不是 PPO 或 DPO？GRPO 省去了 PPO 的价值网络以降低显存和稳定性成本，同时克服了 DPO 依赖离线偏好对且无过程信号的缺点，代价是需权衡采样成本与组大小。
Q · Function Calling、MCP、REST API 和本地 CLI 的职责边界是什么？这四者分属不同层级。REST API 是通用网络接口，CLI 是本地进程入口，Function Calling 是模型表达调用的数据格式，MCP 是 AI 客户端接入工具的协议标准。一次调用可贯穿四层。
Q · 工具调用的超时、重试、幂等、补偿和熔断怎么实现？工具调用的稳定性需分层实现。超时按工具分级，重试仅限查询类幂等操作，幂等靠请求去重键实现。非幂等失败走反向补偿或人工对账，连续失败触发熔断并降级使用缓存。
Q · 多个工具都能回答同一问题时，怎么训练或评测模型的工具选择？训练侧要构造多条正例，不惩罚合理选择，只惩罚成本高或结果错的劣质路径。评测侧需固定题集统计工具选择分布、成功率与成本，观察模型是按场景选择还是习惯性单用。
Q · DPO 为什么不需要显式奖励模型？它的假设和局限是什么？DPO 不需要显式奖励模型，因为最优策略与奖励函数存在闭式对应关系。算法将偏好概率直接改写为策略的函数，把隐式奖励定义为当前策略与参考模型的对数比，从而直接用偏好对优化策略。
Q · 怎么从线上轨迹筛选 Agent RL 数据，避免把偶然成功当优质样本？筛选线上轨迹不能只看最终成功，必须做过程质量审查、可复现性验证和结果归因。实现上先用规则过滤坏例，再用模型打分，最后人工校准。
Q · 推理模型的思考链为什么不能中途打断？推理模型先连续生成完整思考，再给出答案；工具调用却要求暂停生成、等待结果后再继续。中断会让前面的推理上下文断开，两种生成范式因此冲突。
Q · 推理模型和工具调用的冲突，后来是怎么解决的？核心折中是让模型先完整结束一轮思考，再发起工具调用；需要外部信息时，再开启下一轮。MCP 也受到底层 Function Calling 支持的限制。
Q · 怎么理解大模型安全？包含哪些方面？大模型安全可以按模型说什么、模型被输入什么、数据流过什么、模型做什么四层来答，分别对应内容安全、提示词注入与越权、数据安全，以及 Agent 的行为安全。
Q · 安全防护有哪些量化指标？安全防护要用攻击集量化，分层看注入攻击拦截率、有害内容检出率与误杀率、越权动作拦截率和数据泄露事件扫描命中率。
Q · 提示词注入有哪些手段？分别怎么防？提示词注入包括直接注入、间接注入、角色扮演绕过和编码混淆，防御要做输入输出过滤、内容隔离、工具限权，并对高危动作人工确认。
Q · 讲讲 RLHF 的具体过程，涉及几个模型？RLHF 具体涉及四个模型：策略模型负责训练，参考模型计算 KL 约束，奖励模型根据人类偏好打分，价值模型计算优势函数以降低方差。
Q · 知道哪些注意力机制？我会按族谱回答：MHA 是基线，MQA、GQA 和 MLA 主要围绕 KV Cache 做压缩，稀疏注意力降低长文本复杂度，Flash Attention 做算子级优化。
Q · 模型的涌现现象是什么？原因是什么？模型规模较小时能力近乎为零，超过某个阈值后表现突然跳变。原因有两种解释：评测指标制造了假象，或组合任务中的多个子能力同时达到要求。
Q · 讲讲 Transformer 的结构。Transformer 按数据流由输入嵌入、位置信息、N 层网络和输出层组成；每层用多头自注意力交换信息，用前馈网络变换特征，并用残差连接与归一化保证训练稳定。
Q · 你们是怎么跟进最新大模型技术的？我们按论文、开源仓库和技术社区分级跟进，每周固定时间筛选信息；优先看与业务相关的内容，值得深入的再做笔记和复现，避免什么都追。
Q · LoRA、QLoRA 与全量微调怎么选？资源有限先选 LoRA；单卡或大基座选 QLoRA；只有基座级任务且有多卡集群时才做全量微调，再看任务与基座差距和 Adapter 热切换需求
Q · Agent 评估体系怎么设计？Planning 能力和幻觉率怎么量化？我会分层评估：用任务完成率、步骤效率和工具选择准确率衡量 Planning，用知识库核查、自洽性检查和人工抽样衡量幻觉率，再看端到端成功率、满意度、延迟和 token 成本。
Q · Agent 的 A/B 测试框架怎么设计？怎么评估改动收益？Agent 的 A/B 测试要按用户分桶，以任务完成率衡量收益，用安全率、延迟和成本守住护栏，再结合多轮过程指标、自动评估与人工对齐，按灰度阶段放量并支持自动回滚。
Q · 讲讲 DPO 算法及 beta 的作用。DPO把奖励最大化重参数化为直接偏好优化，beta作为隐式 KL 惩罚系数，控制策略偏离参考模型的强度：大则保守，小则激进易跑偏。
Q · 长文本处理有什么策略？长文本处理先按任务选策略：对话历史做摘要，文档用检索，代码按需重取；再用截断滑窗保留近期信息，必要时让长上下文模型处理真正需要全文的任务。
Q · OPD 算法的正向 KL 和反向 KL 有什么区别？正向 KL 从数据分布约束模型，倾向覆盖数据的各种模式，输出更保守；反向 KL 从模型分布约束数据，倾向集中在高概率区域，输出更锐利但可能丢失模式。
Q · Agent Skills（技能包）是什么？它和 MCP、提示词是什么关系Skills 把完成一类任务的说明文档、脚本和资源打包成一个文件夹，模型按需读取里面的说明来加载做法。MCP 管工具怎么接进来，Skills 管流程和知识怎么按需装载。