为什么用fastText而不是GPT-4
1️⃣ 考察意图
面试官想考察你的模型选型能力，而非单纯背诵模型参数。这道题是典型的“工程取舍”类问题，刁钻点在于：候选人容易陷入“大模型万能论”或“小模型过时论”的极端。答好了能展示你对任务-资源-成本三角的深刻理解，以及在实际业务中做技术决策的硬实力——知道什么时候该用“锤子”，什么时候该用“螺丝刀”。
2️⃣ 标准答
这个问题核心是场景驱动的模型选型，不能脱离业务约束谈优劣。我从三个维度拆解：任务本质、成本模型、数据与可解释性。
任务本质：分类/嵌入 vs. 生成/推理
- fastText 的强项：文本分类、意图识别、情感分析等判别式任务。它基于词向量 + n-gram 特征，用层次 softmax 加速训练，在 20 个新闻组数据集上，10 万级样本下训练只需几分钟，准确率可达 90%+（与 BERT-base 差距 < 3%）。
- GPT-4 的强项：开放域问答、代码生成、复杂推理等生成式任务。但用于简单分类是“杀鸡用牛刀”——API 延迟 2-5 秒，成本每百万 token 约 $10（输入）+ $30（输出）。
- 工程取舍：如果任务只需输出标签（如“垃圾邮件/非垃圾邮件”），fastText 的推理延迟 < 1ms，而 GPT-4 的延迟和成本是三个数量级的差距。选型第一原则：用最轻的模型解决任务，保留大模型做兜底或复杂 case。
成本模型：训练、推理、维护
- fastText：训练可在单 CPU 上完成，10 万样本、100 维向量、5 轮迭代，耗时 < 5 分钟。模型文件仅 100-200 MB，部署无 GPU 依赖，QPS 可达 10 万+。
- GPT-4：API 调用成本高，且存在隐形成本：Prompt 设计、few-shot 示例的 token 消耗、错误重试。例如，一个简单分类任务，每次调用浪费 90% token 在系统提示和示例上。
- 实际落地的坑：某电商用 GPT-4 做商品类目预测，月 API 账单 $5000+，换成 fastText + 规则兜底后，成本降至 $50，准确率仅下降 1.2%。解法：用 fastText 做第一层粗筛，置信度低于 0.7 的 case 才 fallback 到 GPT-4，实现 95% 请求由 fastText 处理。
数据与可解释性
- 小样本场景：fastText 的 n-gram 特征能捕捉局部词序（如“not good” vs “good”），在 100-1000 样本下，通过预训练词向量（如 CC 多语言 300 维）初始化，效果往往优于 GPT-4 的 zero-shot（后者依赖 prompt 质量，方差大）。
- 可解释性：fastText 的权重可直接映射到词/n-gram，输出“为什么分类为 A：因为‘价格’权重 0.8，‘便宜’权重 0.6”。GPT-4 是黑箱，无法提供特征级归因，这在金融、医疗等合规场景是致命缺陷。
- trade-off：fastText 无法处理未见过的 OOV 词（除非用 subword），而 GPT-4 的 tokenizer 能泛化。解法：在 fastText 中启用字符 n-gram（
-minn 3 -maxn 6），覆盖 95% 的 OOV 场景。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从任务类型、成本、数据三个层面回答。第一，fastText 适合判别式任务如分类，GPT-4 适合生成式任务，选型要匹配任务本质。第二，fastText 训练快、推理延迟 <1ms、无 GPU 依赖，GPT-4 API 成本高且延迟 2-5 秒，工程上常用 fastText 做第一层、GPT-4 做 fallback。第三，小样本下 fastText 结合预训练词向量效果不差，且特征可解释。总结一句：用最轻的模型解决 80% 的 case，把大模型留给复杂场景。”
4️⃣ 高频追问 & 应对
追问 1：如果数据量很大（百万级），fastText 还比 GPT-4 好吗？
数据量大时 fastText 优势更明显。百万级样本，fastText 训练时间约 30 分钟（8 核 CPU），模型大小 < 1GB。GPT-4 无法微调，只能靠 few-shot 或 RAG，但百万级数据意味着 prompt 设计成本极高。实际做法：用 fastText 做 baseline，再用蒸馏或知识迁移将 GPT-4 的 soft label 注入 fastText，提升 2-3% 准确率。
追问 2：fastText 的 n-gram 特征会不会导致维度爆炸？
会。默认 n-gram 长度 3-6，词典大小可能膨胀 10 倍。解法：用哈希技巧（
-hash 2000000）将 n-gram 映射到固定桶，牺牲少量精度换取内存可控。另一个取舍：n-gram 上限设为 4，覆盖 90% 的短语模式，避免长 n-gram 的稀疏性。
追问 3：如果任务需要多语言支持，fastText 和 GPT-4 怎么选？
fastText 有预训练多语言词向量（157 种语言），但跨语言迁移能力弱。GPT-4 的多语言能力更强，但成本高。工程方案：对每种语言训练独立 fastText 模型，或用一个共享 embedding 层 + 语言 ID 特征。实际案例：某跨境客服系统，用 fastText 做 10 种语言的意图识别，准确率 88%，GPT-4 做复杂 query 的兜底，总成本降低 70%。
5️⃣ 避坑 · 常见错误答法
- ❌ “fastText 过时了，GPT-4 在所有任务上都更好。” → ✅ “模型选型要看任务约束：简单分类任务上，fastText 的性价比远超 GPT-4，后者只在需要推理或生成时才有优势。”
- ❌ “fastText 只能做分类，不能做生成。” → ✅ “fastText 定位就是判别式模型，但可以通过输出概率做排序或过滤，作为 RAG 系统的检索器（替代 BM25）。”
- ❌ “GPT-4 成本高但准确率绝对高。” → ✅ “准确率优势取决于任务：在 20 个新闻组分类上，fastText 准确率 91%，GPT-4 zero-shot 仅 85%（因 prompt 偏差），微调后 93%，但成本差 100 倍。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索阶段模型选型”切入——用 fastText 做 query 分类（如“事实型/观点型”），决定检索策略，再用 GPT-4 做生成。展示对 pipeline 各环节成本的理解。
- 如果你只做过传统 NLP：用“词向量 vs 大模型”类比——fastText 是 Word2Vec 的进化版，适合特征工程场景；GPT-4 是端到端范式。强调你理解何时保留传统方法。
- 如果你是校招无项目：聚焦“论文复现”——在 AG News 数据集上对比 fastText、TextCNN、BERT 的分类效果，输出选型报告。展示你动手验证过 trade-off。
7️⃣ 延伸阅读
- “Bag of Tricks for Efficient Text Classification” (Joulin et al., 2016) - fastText 原始论文
- “Scaling Laws for Neural Language Models” (Kaplan et al., 2020) - 理解模型规模与性能的 trade-off
- “Efficient Estimation of Word Representations in Vector Space” (Mikolov et al., 2013) - Word2Vec 基础
- “The Cost of Intelligence: A Cost-Benefit Analysis of Large Language Models” (通用博客，搜索即可)
- “Subword Information in FastText” (Bojanowski et al., 2016) - 字符 n-gram 原理