有没有考虑过其他方法？为什么选择这个

1️⃣ 考察意图

面试官想看你是否具备技术选型的工程判断力，而非只会背诵单一方案。这道题是典型的工程取舍 + 系统设计类问题，刁钻点在于：你不仅要列出候选方法，还要给出量化对比（如性能、延迟、成本）和场景依赖的决策逻辑。答好了能展示：你做过真实项目、能权衡 trade-off、并且有前瞻性（知道何时该换方案）。这是 P1 级候选人从“执行者”跃升为“决策者”的关键信号。

2️⃣ 标准答

这个问题我会从候选方法枚举 → 多维度对比 → 选择依据 → 实验验证 → 未来反思五个层面展开。以我最近做的文档级实体抽取任务为例（从非结构化 PDF 中提取合同条款中的甲方、乙方、金额等字段），我们对比了三种方案：

候选方法：
方案 A：基于规则（正则 + 词典匹配，如用 spaCy 的 EntityRuler）
方案 B：传统 ML + CRF（特征工程 + 线性链 CRF，如 sklearn-crfsuite）
方案 C：预训练模型微调（BERT + 线性层，或 BERT-CRF，如 HuggingFace Trainer）
多维度对比（关键 trade-off）：
性能：方案 C 在 F1 上比方案 B 高 8-12 个点（CoNLL-2003 上 BERT-CRF 达 92.5%，CRF 仅 84%），方案 A 在特定格式下 F1 可到 90%，但泛化极差。
延迟：方案 A 单条 < 1ms，方案 B 约 5ms，方案 C 约 50ms（BERT-base 在 GPU 上）。延迟与精度不可兼得——这是核心取舍。
可解释性：方案 A 和 B 的特征（如词性、边界词）可追溯，方案 C 的注意力权重只能近似解释。
资源消耗：方案 C 需要 GPU 和 1-2 小时微调，方案 B 仅 CPU 和 10 分钟训练，方案 A 零训练成本。
数据需求：方案 A 需专家写规则（100+ 条），方案 B 需 500-1000 条标注数据，方案 C 需 2000+ 条才能发挥优势。
选择依据（结合场景）：
我们的任务要求高精度（合同金额抽错会赔钱）且数据量充足（已有 5000 条标注），但延迟容忍（后台批处理，单条 200ms 内即可）。因此方案 C（BERT-CRF） 胜出，因为它用 CRF 层约束标签转移（如“甲方”后不能跟“金额”），比纯 BERT 线性层更鲁棒。
实际落地的坑：BERT 对长文本（>512 tokens）会截断，导致跨段实体断裂。解法：用 Longformer 或 分块 + 重叠策略（chunk_size=256, overlap=64），并在后处理中合并跨块实体。
实验验证：
在内部测试集（1000 条）上，BERT-CRF 的 F1 为 93.2%，比纯 BERT 高 1.5%，比 CRF 高 9.8%。但训练时间从 10 分钟（CRF）增加到 2 小时（BERT-CRF）。我们接受了这个 trade-off，因为精度收益远超成本。
未来反思：
如果数据量降到 500 条以下，我会切回 CRF + 预训练词向量（如 GloVe），因为 BERT 在小样本下会过拟合。
如果延迟要求降到 < 10ms（如在线 API），我会用 蒸馏后的 TinyBERT 或 ONNX 推理优化，甚至退回到规则兜底。
如果任务变成开放域（如任意文档），我会考虑 LLM + few-shot prompt（如 GPT-4 的 in-context learning），但需权衡成本和幻觉风险。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从候选方法枚举、多维度对比、选择依据、实验验证、未来反思五个层面回答。候选方法包括规则、CRF 和 BERT-CRF；对比维度是性能、延迟、可解释性和数据需求；选择依据是任务的高精度要求与充足数据；实验验证显示 BERT-CRF 的 F1 比 CRF 高 9.8%；未来若数据变少或延迟变严，我会切回 CRF 或蒸馏模型。总结一句：技术选型是场景驱动的 trade-off 决策，没有银弹。”

4️⃣ 高频追问 & 应对

追问 1：你刚才说 BERT-CRF 比纯 BERT 好，具体好在哪里？能给出数字吗？

好在对标签序列的约束。纯 BERT 对每个 token 独立预测，可能输出“B-甲方 I-甲方 I-金额”这种非法序列（因为“金额”不能跟在“甲方”后）。CRF 层通过转移矩阵学习标签间的依赖，比如 P(I-甲方 → B-甲方) 接近 0。在 CoNLL-2003 上，BERT-CRF 的 F1 为 92.5%，纯 BERT 为 91.2%，提升 1.3 个点。在内部合同数据上，提升更明显（1.5%），因为合同标签转移更严格（如“B-甲方”后只能跟“I-甲方”或“O”）。

追问 2：如果数据量只有 200 条，你怎么选？为什么？

我会选 CRF + 预训练词向量（如 GloVe）。因为 BERT 在小样本下会严重过拟合（验证集 F1 可能比 CRF 低 5-10 个点），而 CRF 的特征工程（如词性、边界词）可以注入领域知识，泛化更好。实际做法：用 spaCy 提取 50 个手工特征，训练 sklearn-crfsuite，F1 可达 80% 左右。如果必须用 BERT，我会加 数据增强（如替换同义词、回译）或 冻结 BERT 前几层，但效果仍不如 CRF 稳定。

追问 3：你提到了 LLM 方案，但没说具体怎么用。如果现在让你用 GPT-4 做实体抽取，你会怎么设计 prompt？有什么坑？

我会用 few-shot prompt，给 3-5 个例子，格式为“输入：合同文本；输出：实体列表（类型: 值）”。坑有两个：一是 输出格式不稳定，GPT-4 可能漏掉实体或输出 JSON 格式错误，解法是加 输出约束（如“只输出逗号分隔的列表”）和 后处理解析（用正则提取）。二是成本，每 1000 条调用约 $0.1（GPT-4-turbo），比 BERT 推理贵 100 倍。所以 LLM 只适合冷启动或低吞吐场景，高并发时还是得用微调模型。

5️⃣ 避坑 · 常见错误答法

❌ “我们选 BERT 是因为它最先进，效果最好。” → ✅ “我们选 BERT-CRF 是因为任务要求高精度且数据充足，但我们也评估了规则和 CRF，发现规则在特定格式下 F1 可达 90%，但泛化差；CRF 训练快但精度低 10 个点。最终基于延迟容忍和精度需求做了取舍。”
❌ “我们只试了一种方法，没考虑其他的。” → ✅ “我们系统性地对比了规则、CRF 和 BERT-CRF，从性能、延迟、可解释性、数据需求四个维度打分，最终选择 BERT-CRF。如果未来数据量或延迟变化，我会重新评估。”
❌ “BERT 比 CRF 好，所以永远选 BERT。” → ✅ “BERT 在小样本下会过拟合，且推理延迟高。在数据 < 500 条或延迟 < 10ms 的场景，CRF 或规则更优。技术选型没有绝对好坏，只有场景适配。”

6️⃣ 简历呼应

如果你有 RAG 项目：从“检索 vs 生成”的 trade-off 切入，对比 BM25、DPR 和 ColBERT，说明为什么选 DPR（精度高但延迟大），并提到用 HNSW 索引加速。
如果你只做过传统 NLP：用“CRF vs 规则”类比，说明在命名实体识别中，你对比了正则和 CRF，发现 CRF 在泛化上更优，但规则在特定格式下更快，最终基于数据量（500 条）选了 CRF。
如果你是校招无项目：聚焦论文复现，比如在 CoNLL-2003 上复现 BERT-CRF，对比 BiLSTM-CRF，报告 F1 和训练时间，并分析为什么 BERT 的注意力机制比 BiLSTM 更适合序列标注。
《Named Entity Recognition with BERT-CRF》 - 论文，对比 BERT 和 BERT-CRF 在 CoNLL-2003 上的效果
《Efficient Estimation of Word Representations in Vector Space》 - GloVe 词向量论文，用于 CRF 特征
《Longformer: The Long-Document Transformer》 - 解决 BERT 长文本截断问题
《Scaling Monosemanticity: A Case Study in Entity Extraction》 - Anthropic 关于 LLM 实体抽取的实践
《HuggingFace Token Classification Tutorial》 - 官方教程，含 BERT-CRF 实现代码

—— 本场面试完 ——