你的 Agent 系统Prompt 是怎么设计和迭代的?有没有做过 Prompt 自动优化?当用户提出不完整的请求时,如何补全用户意图的
P1 · agent_architecture
🏷 标签：prompt-engineering, agent, intent-completion, prompt-optimization
1️⃣ 考察意图
面试官想考察的不是你背过多少Prompt模板，而是你是否有系统化的工程思维来设计、迭代和优化Agent Prompt，并处理真实场景中的模糊输入。这是P1级别的进阶题，刁钻点在于：① 你是否做过自动优化，而不仅仅是手动调词；② 你是否能处理用户意图不完整时的补全策略，而非简单反问。答好了能展示你在Agent系统设计上的完整流程能力——从定义到评估到自动化，以及处理长尾问题的工程取舍。
2️⃣ 标准答
Prompt设计流程：从任务定义到线上迭代
- 任务定义与角色设定：先明确Agent的核心任务（如客服Agent：解决用户售后问题），设定角色（“你是专业客服，语气友好但高效”），并给出约束（“禁止提供法律建议”）。这一步用任务分解法，将复杂目标拆成子任务（如意图识别、信息收集、回答生成）。
- Few-shot示例与边界控制：添加3-5个典型用户请求和期望输出示例，覆盖正常和边缘情况（如用户骂人时回复“请保持礼貌”）。示例要包含输入输出对，并标注推理过程（Chain-of-Thought），提升Agent的泛化能力。
- A/B测试与指标驱动：初始Prompt上线后，收集1000条对话，人工标注任务成功率（如用户问题是否被解决）和用户满意度（如评分）。用统计显著性检验（p<0.05）对比不同Prompt变体，淘汰低效版本。例如，客服Agent中，添加“如果用户未提供订单号，主动询问”的规则后，成功率从72%提升到85%。
Prompt自动优化：LLM-as-Judge + 强化学习
- LLM-as-Judge自动生成变体：使用GPT-4作为评判器，输入当前Prompt和一批失败案例（如用户未提供关键信息导致回答错误），让GPT-4生成10个Prompt变体（如调整语气、增加约束、修改示例）。然后通过A/B测试，用线上指标（如任务成功率）筛选最优变体。工程取舍：自动生成速度快，但可能引入不安全内容（如过度承诺），所以需要人工审核安全边界。
- 基于GRPO的强化学习优化：对于高频场景（如电商客服），使用GRPO（Group Relative Policy Optimization）算法，将Prompt作为策略，用户反馈（如点赞/踩）作为奖励信号，自动调整Prompt参数（如few-shot示例的权重）。实际落地的坑：GRPO需要大量用户反馈数据（至少5000条），且训练不稳定，所以先在小流量（5%用户）上跑，稳定后再全量上线。
意图补全策略：从被动反问到主动推理
- 基于历史对话的上下文推理：当用户说“帮我查一下”，Agent先检索对话历史，如果之前提到过“订单号123”，则自动补全为“查订单123的状态”。使用BM25+语义相似度（如Sentence-BERT）混合检索，平衡速度和精度。工程取舍：历史检索可能引入噪声（如过时信息），所以设置时间窗口（最近10条对话）和置信度阈值（相似度>0.7才自动补全）。
- 主动反问澄清：如果历史信息不足，Agent不直接反问“你要查什么？”，而是用结构化追问：“您想查询订单状态、物流信息还是退款进度？” 这基于预定义的意图分类（如订单查询、物流查询、退款查询），用few-shot示例引导Agent生成选项。实际落地的坑：用户可能不耐烦，所以反问次数限制为2次，超过则转人工。
- 用户画像与场景推理：对于登录用户，结合用户画像（如会员等级、历史行为）补全意图。例如，高价值用户说“我要投诉”，Agent自动补全为“投诉物流延迟”，并优先分配高级客服。这需要实时调用用户画像API，并设置隐私保护（如不存储敏感信息）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从Prompt设计迭代、自动优化、意图补全三个层面回答。Prompt设计上，我用任务分解+few-shot示例+A/B测试驱动迭代，指标包括任务成功率和用户满意度。自动优化上，我用LLM-as-Judge生成变体，结合GRPO强化学习调优，但需人工审核安全边界。意图补全上，我基于历史对话、主动反问和用户画像推理，用BM25+语义检索和结构化追问。总结一句：Agent Prompt是系统工程，核心是完整流程迭代和模糊输入处理。”
4️⃣ 高频追问 & 应对
追问1：你如何评估Prompt自动优化的效果？有没有量化指标？
用线上A/B测试，核心指标是任务成功率（如用户问题是否被解决）和用户满意度（如评分）。具体做法：随机分配用户到控制组（原始Prompt）和实验组（优化后Prompt），收集至少1000条对话，用卡方检验判断成功率差异是否显著（p<0.05）。额外指标包括平均对话轮次（优化后应减少）和转人工率（优化后应降低）。例如，客服Agent中，优化后成功率从72%提升到85%，转人工率从15%降到8%。
追问2：如果用户意图补全错误，导致Agent给出错误回答，你怎么处理？
设计回滚机制：如果Agent补全后，用户反馈“不对”或“不是这个”，立即回退到原始用户输入，并触发主动反问。同时，记录错误案例到失败库，用于后续Prompt迭代。工程上，设置置信度阈值：如果补全的意图置信度<0.7，则直接反问，不自动补全。例如，用户说“帮我查”，历史信息模糊，Agent补全为“查订单状态”，但用户实际想查物流，则回滚并反问“您想查订单状态还是物流信息？”
追问3：你的自动优化方法如何保证安全性？比如避免生成有害内容？
采用多层安全过滤：① 自动生成变体后，用安全分类器（如基于BERT的毒性检测模型）过滤掉高风险变体；② 人工审核安全边界，定义“禁止生成”规则（如不承诺退款、不提供医疗建议）；③ 线上部署时，用内容安全API（如阿里云内容安全）实时拦截。工程取舍：安全过滤会增加延迟（约50ms），所以只在关键节点（如生成最终回答前）做，不影响整体性能。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“我手动调Prompt，每次改几个词，看效果” → ✅ 正确切入：强调系统化迭代，用A/B测试和指标驱动，而不是凭感觉调词。
- ❌ 说“用户意图不完整时，直接反问‘您能说清楚点吗？’” → ✅ 正确切入：用结构化反问（如给出选项）或历史推理补全，减少用户负担。
- ❌ 说“自动优化用RLHF，但没提具体算法” → ✅ 正确切入：具体到GRPO或PPO，并说明数据需求和工程坑。
6️⃣ 简历呼应
- 如果你有RAG项目：从检索增强角度切入，强调Prompt设计如何与检索结果交互（如“如果检索结果为空，则主动反问”），并展示A/B测试数据。
- 如果你只做过传统NLP：用分类任务类比，说“Prompt设计类似特征工程，自动优化类似超参数调优”，并强调意图补全的规则引擎（如基于意图分类的追问）。
- 如果你是校招无项目：聚焦论文复现，如“我复现了ReAct论文的Prompt设计，并模拟了客服场景的意图补全”，展示对CoT和few-shot的理解。
7️⃣ 延伸阅读
- 《ReAct: Synergizing Reasoning and Acting in Language Models》（论文）
- 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（论文）
- 《GRPO: Group Relative Policy Optimization for LLM Alignment》（论文）
- 《LLM-as-Judge: A Survey of Evaluation Methods》（博客）
- 《Building Effective Agents: A Practical Guide》（Anthropic博客）