阿里巴巴一面 · 项目 + 微调 + 长短期记忆 · 手撕多头注意力 14 分钟读完

淘天 AI Agent 一面:Function Call 提升与手撕 MHA

淘天集团 · AI Agent 开发一面

面经阿里Function Calling记忆手撕

岗位:淘天集团 AI Agent 开发 轮次:一面技术面(与站内淘天二面、三面复盘为同系列不同轮次) 一句话定性:一面考「落地细节」:项目数字怎么来的、记忆怎么分的、注意力能不能手写。 素材来源:牛客一手帖(已核实,同作者系列),整理时间 2026-09-28


0. 一分钟速览

项目内容
公司 / 岗位阿里巴巴 · 淘天 AI Agent 开发
形式线上一面,项目深挖 + 概念 + 手撕
有手撕吗有。手写多头注意力(MHA)
考察重心项目数字的归因、Function Call 准确率提升手段、长短期记忆分工
典型挂点项目效果数字说不清归因;MHA 的头切分写错
准备方向项目每个数字备好「做了什么、对比基线是什么」

1. 项目深挖:Function Call 准确率怎么提的

问法:「你简历写 Function Call 调用成功率提升了 X%,具体做了什么?」

这题的陷阱在数字:说了提升就必须答得出归因。答题骨架:

  1. 基线:之前准确率多少、怎么统计的(成功调用除以总调用,失败含选错工具、参数错误、超时三类);
  2. 手段分层:工具描述重写(功能边界、参数含义、何时不用)是第一杠杆;参数校验加错误回传重试是第二层;高频错误场景做成 SFT 数据微调是第三层;
  3. 验证:固定评测集回归,确认提升不是抽样波动。

追问链:「为什么先改描述不改模型?」答:描述是零成本的,模型微调有数据量门槛且迭代慢,工程上永远先摘低垂的果实,改完描述还解决不了的场景才值得进训练数据。


2. 概念题:长短期记忆怎么分工

问法:「多轮对话的长短期记忆怎么设计?」

答题要点:短期记忆就是当前窗口内的对话历史,管理动作是 token 预算分配和超限压缩(摘要、截断);长期记忆是跨会话的持久层,要回答三个问题——什么值得写入(用户偏好、已确认事实、任务状态)、怎么检索(向量加关键词混合)、怎么淘汰(过期、冲突覆盖、容量上限)。两层的衔接:会话结束时的提炼写入,是长期记忆的主要来源。

追问链:「长期记忆写错了怎么纠正?」答:冲突检测(新事实和旧事实矛盾时以时间新者优先并提示)、用户显式纠正通道、定期用模型清理低置信条目。


3. 手撕:多头注意力

实现题,三个得分点:QKV 三个投影矩阵的定义、按头切分(reshape 成 [batch, heads, seq, head_dim] 后各自做注意力再拼接)、scale 除以根号 head_dim。写错最多的两处:忘了除根号(数值不稳 softmax 饱和)、拼接后忘了输出投影。写完能主动分析复杂度 O(n²·d) 是加分项。


4. 复盘与准备清单

  • 一面挂点多在项目数字的归因,每个「提升 X%」都备好基线、手段、验证三段。
  • 淘天这条线和二面(RAG 深挖 + 训练八股)、三面(RAG 落地难点)连起来是一套完整考法,准备时三轮连着过。
  • 手撕出现实现题(MHA)说明算法题之外留了注意力实现的练习预算。

相关题目:站内题库的「LoRA 的秩怎么选」「上下文压缩怎么做」是这场的关联原题。