2 为什么模型需要把 token 映射成向量表示
P0 · rag
🏷 标签：embedding, vector-representation, one-hot, neural-network
1️⃣ 考察意图
面试官想看你是否真正理解“向量化”不是技术花活，而是神经网络能处理离散符号的唯一路径。考察类型是背概念 + 工程取舍。刁钻点在于：很多人只会背“one-hot 稀疏、embedding 稠密”，但说不清为什么稠密向量能泛化、以及训练中向量是怎么被“推拉”出语义的。答好了能展示你对表示学习本质的理解——从离散符号到连续空间的映射，是模型能捕捉类比、迁移知识的基础。
2️⃣ 标准答
神经网络本质是数值计算器，所有输入必须是实数向量。Token 是离散符号（如“猫”“dog”），无法直接输入。映射成向量表示解决了三个核心问题：数值化、语义捕捉、可训练泛化。
- 数值化：从符号到实数最朴素方案是 one-hot 编码：每个 token 对应一个长度为 V（词表大小）的向量，仅一个位置为 1。例如 V=10000 时，“猫”是 [0,0,1,0,…]，“狗”是 [0,1,0,0,…]。
- 问题：向量维度随词表线性增长（GPT-4 词表约 10 万），且任意两个 token 的余弦相似度恒为 0——模型学不到“猫”和“狗”都是宠物。 语义捕捉：从正交到相似
- Embedding 层（可训练矩阵，形状
[V, d]，d 通常 128-4096）将 one-hot 映射为稠密向量。训练时，模型通过反向传播调整这些向量，使语义相近的 token 在向量空间中距离更近。 - 经典案例：Word2Vec 中
king - man + woman ≈ queen，这是向量算术的体现。在 LLM 中，RoPE（旋转位置编码）进一步在向量中注入位置信息，让模型区分“我打你”和“你打我”。 - 工程取舍：d 越大，表达能力越强，但参数量（V×d）和计算成本（注意力矩阵 O(d²)）也越大。GPT-3 用 d=12288，而小模型如 BERT-base 用 d=768，这是精度-效率的经典权衡。 可训练性与泛化
- One-hot 是固定的，无法适应任务。Embedding 向量在训练中通过梯度下降更新，模型能根据上下文调整语义。例如在“苹果很好吃”和“苹果发布了新手机”中，“苹果”的向量会被不同上下文“拉向”不同区域。
- 泛化优势：稠密向量将高维稀疏空间压缩为低维连续空间，模型能利用相似性平滑——即使没见过的 token，只要其向量与已知 token 接近，模型就能做出合理预测。这是分布式表示（distributed representation）的核心：每个 token 由多个维度共同定义，而非一个独立槽位。 实际落地的坑 + 解法
- 坑：OOV（out-of-vocabulary）问题。真实场景中，用户输入可能包含词表外的 token（如新造词“emoji😊”）。直接映射会报错或退化为未知标记。
- 解法：使用 subword tokenization（如 BPE、SentencePiece），将罕见词拆成子词序列。例如“embeddings”拆为“embed”、“ding”、“s”，每个子词都在词表中。这本质是在 token 粒度上做向量化，平衡了词表大小和覆盖率。
- 另一个坑：训练初期 embedding 向量随机初始化，导致梯度不稳定。解法：使用预训练词向量（如 GloVe、FastText）初始化，或采用 warmup 学习率，前几步用较小学习率让向量稳定。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，数值化——神经网络只能吃实数，one-hot 虽然能数值化但维度爆炸且无语义；第二，语义捕捉——可训练的 embedding 将离散符号映射到连续空间，让相似 token 距离近，这是模型能泛化的基础；第三，工程取舍——向量维度 d 是精度-效率的权衡，实际中还要用 BPE 解决 OOV 问题。总结一句：向量表示是神经网络处理语言的必要桥梁，它把符号世界变成了可微分的几何空间。”
4️⃣ 高频追问 & 应对
追问 1：既然 embedding 这么好，为什么不用超大维度（比如 d=100000）？
维度越大，参数量（V×d）和计算量（注意力 O(d²)）都线性/平方增长。GPT-3 的 d=12288 已经带来 175B 参数。更大的维度还会导致过平滑——所有 token 向量趋于一致，失去区分度。实际中 d 的选择由模型容量-数据量决定：数据量少时用小 d 防过拟合，数据量大时用大 d 榨取能力。工业界常用 768（BERT-base）到 12288（GPT-3），这是经验值。
追问 2：one-hot 和 embedding 的本质区别是什么？为什么 one-hot 不能泛化？
本质区别是表示方式：one-hot 是局部表示（每个 token 独占一个维度），embedding 是分布式表示（每个 token 由多个维度共同定义）。One-hot 中“猫”和“狗”的向量正交，模型只能记住它们各自出现的模式，无法共享“宠物”这个共性。Embedding 中，如果“猫”和“狗”在“宠物”维度上都有高激活值，模型看到“喂猫”就能泛化到“喂狗”。这是统计共享——分布式表示让模型用更少参数学到更多模式。
追问 3：训练好的 embedding 向量能直接迁移到其他任务吗？有什么坑？
可以，但要注意领域偏移。例如用维基百科训练的 GloVe 向量，在医疗文本上效果会下降，因为“心脏”在通用语料和医学语料中的语义不同。解法：微调 embedding 层，在新任务上继续训练，或者用 contextual embedding（如 BERT 的动态向量）替代静态向量。另一个坑是维度不匹配：迁移时如果新任务词表不同，需要对齐或重新初始化未覆盖 token。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“向量表示是为了让模型理解语义，one-hot 太稀疏了” → ✅ 必须点出神经网络只能处理数值这个根本原因，语义捕捉是附加优势，不是唯一动机。
- ❌ 说“embedding 维度越大越好” → ✅ 必须提到过平滑和计算成本的 trade-off，并给出具体维度范围（768-12288）。
- ❌ 说“embedding 是随机初始化的，训练后自动有语义” → ✅ 必须说明训练机制：通过反向传播和上下文共现，向量被“推拉”出语义，并提到预训练初始化的好处。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“向量检索”角度切入，强调 embedding 质量直接影响召回率，并提一嘴你用过 HNSW 索引加速检索，以及维度裁剪（如 PCA 降维）对性能的影响。
- 如果你只做过传统 NLP：用 TF-IDF vs. Word2Vec 的对比实验来类比，说明稀疏表示和稠密表示在分类任务上的效果差异，并提到你做过消融实验验证 embedding 维度对 F1 的影响。
- 如果你是校招无项目：聚焦 Word2Vec 论文复现，说明你理解负采样（negative sampling）和层次 softmax 如何加速训练，并展示你用小语料（如《红楼梦》）训练出的向量可视化（t-SNE 图）。
- 《Distributed Representations of Words and Phrases and their Compositionality》（Mikolov et al., 2013）
- 《GloVe: Global Vectors for Word Representation》（Pennington et al., 2014）
- 《RoFormer: Enhanced Transformer with Rotary Position Embedding》（Su et al., 2021）
- 《Neural Network Methods for Natural Language Processing》（Goldberg, 2017）——第 4 章“Distributed Representations”
- 博客：Jay Alammar 的“The Illustrated Word2vec”