是否有致命假设
1️⃣ 考察意图
面试官想看你是否具备“系统性怀疑”能力——不是背概念，而是能识别出AI系统中那些看似合理、实则脆弱的隐含假设，并量化其风险。考察类型是工程取舍+系统设计。刁钻点在于：多数候选人只谈“数据分布假设”这种泛泛之谈，但面试官要的是具体到某个模块（如RAG的chunking、LLM的RoPE位置编码）的致命假设，以及你如何设计实验证伪它。答好了能展示你对系统鲁棒性的深度理解，以及从论文到落地的工程直觉。
2️⃣ 标准答
致命假设是AI系统中最隐蔽的“定时炸弹”，通常藏在三个层面：数据层、模型层、环境层。下面逐一拆解，并给出验证与放宽方法。
数据层假设：i.i.d.与静态分布
- 常见假设：训练集和测试集独立同分布（i.i.d.），且分布不随时间变化。
- 致命后果：在推荐系统中，假设用户兴趣静态，会导致冷启动物品永远无法曝光（因为历史行为只支持热门）。实际落地中，某电商平台用全量历史数据训练CTR模型，上线后新品类点击率暴跌40%，因为用户兴趣在促销季发生了偏移。
- 验证方法：时间窗口划分——按周/月切分训练集和测试集，计算分布差异（如KL散度）。更严格的是对抗验证：训练一个分类器区分训练集和测试集样本，如果AUC>0.7，说明分布漂移显著。
- 放宽策略：引入时间衰减权重（如指数衰减因子λ=0.9），或使用增量学习（如Online Gradient Descent）。在RAG中，对检索到的文档按时间戳加权，避免过时信息污染生成。
模型层假设：容量与结构
- 常见假设：模型有足够容量拟合所有模式，且结构设计（如RoPE位置编码）能泛化到任意长度。
- 致命后果：LLM在推理时遇到比训练更长的序列，RoPE的插值方法（如NTK-aware）若未调参，位置编码会失真，导致注意力分散。一个真实案例：某公司用Llama 2做长文档摘要，输入超过8K tokens后，模型开始重复句子，因为训练时最大长度是4K，外推假设被违反。
- 验证方法：压力测试——构造长度递增的输入（如从1K到16K），监控perplexity和生成质量。对于embedding模型，用OOD检测（如Mahalanobis距离）检查输入是否在训练分布内。
- 放宽策略：使用ALiBi或xPos等相对位置编码，它们对长度外推更鲁棒。或者用FlashAttention的block-sparse机制，显式限制注意力范围。
环境层假设：静态与确定性
- 常见假设：推理时的环境（如API延迟、数据格式）与训练时一致。
- 致命后果：在Agent系统中，假设工具调用返回格式固定（如JSON），但实际API可能返回错误码或超时。某客服Agent上线后，30%的请求因工具返回“429 Too Many Requests”而崩溃，因为训练时从未模拟过限流场景。
- 验证方法：混沌工程——在测试环境中注入随机延迟（如+500ms）、错误响应（如返回空字符串），观察系统降级行为。更系统化的是敏感性分析：对每个输入维度（如温度参数、top-k）做网格搜索，看输出方差。
- 放宽策略：引入重试机制（指数退避，初始间隔1s，最大3次）和降级策略（如工具失败时回退到LLM自身知识）。在RAG中，对检索结果做置信度阈值（如BM25得分<0.3时，不返回任何文档，直接让LLM生成）。
总结：致命假设的识别不是一次性的，而是持续监控的过程。每个假设都需要一个“反事实实验”来证伪，然后通过鲁棒性机制（如重试、衰减、回退）来吸收风险。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据层、模型层、环境层三个层面回答。数据层最常见的是i.i.d.假设，我用时间窗口划分和对抗验证来检测分布漂移，并用时间衰减权重放宽。模型层关注容量假设，比如RoPE的长度外推，我通过压力测试和OOD检测验证，改用ALiBi或FlashAttention来放宽。环境层假设工具调用是静态的，我用混沌工程注入延迟和错误，并引入重试和降级策略。总结一句：每个假设都需要一个反事实实验来证伪，然后通过鲁棒性机制吸收风险。”
4️⃣ 高频追问 & 应对
追问 1：你提到对抗验证检测分布漂移，具体怎么做？阈值怎么定？
对抗验证的核心是训练一个二分类器（如XGBoost或简单MLP），区分训练集和测试集样本。特征用模型中间层输出或原始特征。如果分类器AUC>0.7，说明分布差异显著。阈值设定取决于业务容忍度：在风控场景，AUC>0.5就要告警；在推荐场景，AUC>0.8才触发模型重训。一个工程坑是：如果特征维度太高，分类器容易过拟合，需要用L1正则或PCA降维。
追问 2：在RAG系统中，chunking策略有什么致命假设？
常见假设是“语义边界与文本边界一致”，即一个chunk包含完整语义单元。但实际中，如果chunk大小固定（如256 tokens），可能切断关键上下文（如问题在chunk A，答案在chunk B）。验证方法：用滑动窗口测试不同chunk大小（128/256/512），看检索召回率（Recall@k）的方差。放宽策略：用语义chunking（如基于句子嵌入的聚类），或重叠chunk（重叠50 tokens），但代价是存储和检索延迟增加。
追问 3：你提到用时间衰减权重放宽静态假设，具体参数怎么调？
时间衰减权重常用指数形式：w(t) = exp(-λ * (t_current - t))。λ是关键超参，太小（如0.01）衰减慢，无法捕捉短期波动；太大（如0.5）会丢弃历史信息。调参方法：在验证集上做网格搜索（λ∈[0.01, 0.5]，步长0.05），用NDCG或AUC评估。一个实际坑是：如果用户行为有周期性（如周末高峰），指数衰减会误伤，此时改用周期衰减（如按周重置权重）。
5️⃣ 避坑 · 常见错误答法
- ❌ 只列举假设类型（如“数据分布假设、模型容量假设”），但不给验证方法和具体数字。 → ✅ 必须给出验证手段（如“用对抗验证，AUC>0.7触发告警”）和放宽策略（如“时间衰减λ=0.1”）。
- ❌ 说“假设被违反时模型会过拟合”，但没解释为什么。 → ✅ 要具体：比如“i.i.d.假设被违反时，模型学到的是历史分布，在新分布上泛化失败，表现为测试集loss上升而训练集loss下降”。
- ❌ 只谈理论，不提工程落地坑。 → ✅ 必须给真实案例，如“某电商CTR模型因促销季分布偏移，点击率暴跌40%”。
6️⃣ 简历呼应
- 如果你有RAG项目：从chunking假设切入，说明你如何用滑动窗口验证chunk大小对召回率的影响，并引入语义chunking或重叠策略来放宽。
- 如果你只做过传统NLP：用文本分类的i.i.d.假设类比，说明你如何用时间窗口划分验证分布漂移，并引入对抗训练（如FGM）来增强鲁棒性。
- 如果你是校招无项目：聚焦LLM的长度外推假设，复现RoPE和ALiBi的对比实验（如用WikiText-103构造不同长度输入），并讨论压力测试结果。
- 《Detecting Distribution Shift via Adversarial Validation》——Kaggle竞赛常用技术
- 《Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation》——ALiBi论文
- 《RAG中的Chunking策略：从固定大小到语义分割》——LangChain官方博客
- 《Chaos Engineering for ML Systems: Principles and Practice》——Netflix技术博客
- 《Time-Aware Recommender Systems: A Survey》——ACM Computing Surveys综述