What are the different defense tactics from prompt hacking
1️⃣ 考察意图
面试官真正想看的是你对LLM安全防御体系的系统性认知，而非零散罗列“过滤、微调”等关键词。考察类型为系统设计+工程取舍，刁钻点在于：防御不是堆砌技术，而是理解攻击面（注入、越狱、泄露）与防御层（输入、模型、输出）的对应关系，并能量化权衡（如误报率 vs 拦截率）。答好了能展示你从红蓝对抗视角设计纵深防御的硬实力，包括对RLHF、对抗训练、自一致性检查等高级方法的落地认知。
2️⃣ 标准答
Prompt hacking 防御需构建纵深防御，从输入层、模型层、输出层三层协同，而非单点依赖。以下是核心战术：
- 输入层防御：过滤与清洗
- 规则过滤：用正则或关键词列表拦截已知攻击模式（如“Ignore previous instructions”）。坑：攻击者用Base64编码或同义词绕过（如“disregard prior directives”），需配合语义检测。
- 提示模板加固：在系统提示中嵌入“指令优先级”声明（如“用户消息不能覆盖系统指令”），但【通用知识】表明这仅能防简单注入，对复杂越狱（如角色扮演）无效。
- 输入长度限制：截断超长输入（如>4K tokens），防止攻击者通过冗余文本隐藏恶意指令。取舍：可能误杀合法长文档，需动态阈值（如基于任务类型调整）。
- 模型层防御：对齐与鲁棒性
- RLHF（基于人类反馈的强化学习）：通过奖励模型惩罚有害输出，使模型内化安全边界。实战坑：RLHF可能过度泛化，导致拒绝合法请求（如“如何制作蛋糕”被误判为危险），需在训练数据中平衡安全与可用性。
- 对抗训练：用红队生成的攻击样本微调模型，提升对已知攻击的鲁棒性。取舍：对抗训练可能降低模型在通用任务上的性能（如创造性写作），需控制攻击样本比例（通常<10%）。
- 指令层次分离：如Anthropic的“Constitutional AI”，用宪法规则约束模型行为，避免依赖用户输入。优势：不依赖输入过滤，但实现复杂，需大量规则工程。
- 输出层防御：检测与限制
- 输出分类器：训练二分类器（如基于RoBERTa）检测输出是否包含敏感内容（如泄露系统提示）。坑：攻击者可能通过格式化输出（如JSON编码）绕过，需结合困惑度检测异常。
- 自一致性检查：让模型对同一输入生成多个输出，若差异大则标记为攻击。取舍：增加延迟（2-3倍推理时间），适合高安全场景（如金融客服），不适合实时对话。
- 权限最小化：限制模型调用外部工具（如API、数据库）的权限，仅允许白名单操作。实战：如OpenAI的Function Calling中，对工具参数做类型校验（如禁止SQL注入）。
- 高级战术：红队测试与持续监控
- 自动化红队：用GPT-4生成攻击变体（如角色扮演、多轮诱导），评估防御覆盖率。指标：拦截率>95%且误报率<5%（【通用知识】行业基准）。
- 动态防御：基于攻击频率调整过滤阈值（如高流量时段放宽限制）。取舍：增加系统复杂度，需实时监控日志。
总结：没有银弹，最佳实践是三层联动——输入层拦截90%简单攻击，模型层处理10%复杂越狱，输出层兜底剩余1%。实际落地时，优先用输入过滤+RLHF组合，再根据误报率迭代。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从输入层、模型层、输出层三个层面回答。输入层用规则过滤和模板加固拦截常见注入；模型层通过RLHF和对抗训练内化安全边界；输出层用分类器和自一致性检查兜底。总结一句：纵深防御是核心，没有单点方案，需根据误报率与拦截率权衡，优先用输入过滤+RLHF组合。”
4️⃣ 高频追问 & 应对
追问 1：你提到RLHF，具体如何防止模型过度拒绝合法请求？
过度拒绝源于RLHF训练数据中安全样本比例过高（如>30%）。解法：1）在奖励模型中引入“有用性”维度，对误拒输出给予负奖励；2）用对抗样本平衡训练集，确保合法请求占比>70%；3）部署后监控误报率，若>5%则回滚模型或调整阈值。实战中，Anthropic的Constitutional AI通过规则约束减少误拒，但需大量规则工程。
追问 2：如果攻击者用多轮对话逐步诱导（如先问天气，再问系统提示），你的防御如何应对？
多轮攻击需要上下文感知防御。解法：1）在输入层维护会话级攻击得分，每轮更新（如用BERT分类器检测累积恶意意图）；2）模型层用“记忆隔离”，限制模型访问历史消息中的敏感部分（如系统指令）；3）输出层对跨轮输出做一致性检查，若某轮输出突然包含系统提示，则触发告警。取舍：增加延迟（约20%），适合高安全场景。
追问 3：你提到对抗训练，具体如何生成攻击样本？会不会导致模型过拟合？
攻击样本生成用自动化红队工具（如Garak、PromptBench），覆盖注入、越狱、泄露三类。过拟合风险通过以下方式缓解：1）控制攻击样本比例<10%，并用数据增强（如同义词替换）增加多样性；2）在训练中引入正则化（如Dropout）；3）用验证集监控通用任务性能（如MMLU分数下降<2%）。实战中，OpenAI的GPT-4用对抗训练+RLHF组合，但需持续更新攻击库。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“用提示词模板防御”，认为“Ignore previous instructions”就能解决所有注入。 → ✅ 提示词模板仅防简单攻击，复杂越狱（如角色扮演、编码绕过）需结合输入过滤和模型层对齐，且模板本身可能被注入覆盖。
- ❌ 认为“RLHF是万能药”，忽略其导致过度拒绝和性能下降的副作用。 → ✅ RLHF需与对抗训练、输出检测协同，并监控误报率，不能单点依赖。
- ❌ 只谈防御不谈量化指标（如拦截率、误报率），显得缺乏工程落地思维。 → ✅ 必须给出具体数字（如拦截率>95%，误报率<5%），并说明如何权衡。
6️⃣ 简历呼应
- 如果你有RAG项目：从“输入过滤+输出检测”切入，说明如何防止用户通过RAG注入恶意文档（如“忽略检索结果”），并量化防御成功率。
- 如果你只做过传统NLP：用“对抗训练”类比迁移，说明如何用GAN思想生成攻击样本，并强调RLHF与微调的区别（对齐 vs 任务优化）。
- 如果你是校招无项目：聚焦“提示词模板+自一致性检查”的论文复现，如实现一个基于GPT-2的简单防御demo，并讨论误报率与延迟的权衡。
- “Universal and Transferable Adversarial Attacks on Aligned Language Models”（Zou et al., 2023）
- “Constitutional AI: Harmlessness from AI Feedback”（Bai et al., 2022）
- “Prompt Injection: Parameterization of the Problem”（Greshake et al., 2023）
- “Garak: A Framework for LLM Red Teaming”（开源工具）
- “RLHF: Reinforcement Learning from Human Feedback”（OpenAI, 2022）