模型预训练超过了最大长度怎么做

P1 · llm_training

📊 考点：long-context

🏷 标签：truncation, sliding-window, position-encoding

1️⃣ 考察意图

面试官想考察你对 Transformer 架构“最大长度”这个硬约束的底层理解，以及在实际训练中如何绕过或打破它。这不是背概念题，而是工程取舍 + 系统设计题。刁钻点在于：候选人往往只想到“截断”或“改位置编码”，但忽略了数据分布、训练效率、推理一致性之间的三角权衡。答好了能展示你对长上下文场景（如文档理解、代码库、多轮对话）的实战经验，以及从模型架构到训练策略的全局视野。

2️⃣ 标准答

核心思路：不硬怼长度，而是用策略把长文本拆解或压缩进模型能处理的窗口。以下按从简单到复杂、从工程到架构的顺序展开。

1. 截断（Truncation）—— 最暴力但最稳

做法：取前 N tokens（head-only）、后 N tokens（tail-only）、或随机截取一段（random truncation）。
为什么这么做：对于分类/匹配任务，关键信息往往在开头或结尾（如论文摘要、用户评论）。head-only 保留主题，tail-only 保留结论。
实际落地的坑 + 解法：坑在于信息丢失不可控。比如法律合同的关键条款可能在中间。解法：用重要性采样——先跑一个轻量级模型（如 BERT 小模型）对每个 chunk 打分，选信息密度最高的 chunk 喂入大模型。代价是增加一次推理，但精度提升明显（【通用知识】在长文档 QA 上可提升 5-10%）。

2. 滑动窗口（Sliding Window）—— 分块但保持上下文连贯

做法：将长文本切成固定大小（如 2048 tokens）的窗口，步长小于窗口大小（如 512），每个窗口独立训练。Longformer 和 BigBird 的稀疏注意力本质也是滑动窗口的变体。
为什么这么做：相比截断，滑动窗口能覆盖全文，且窗口重叠保证了边界信息的连续性。适合生成任务（如摘要、翻译），因为模型能看到完整上下文。
实际落地的坑 + 解法：坑在于计算量爆炸——窗口数 = (总长度 - 窗口大小) / 步长 + 1，如果步长太小，训练时间翻倍。解法：动态步长——在信息密集区域（如对话中的用户问题）用短步长，在信息稀疏区域（如长列表）用长步长。可以用一个简单的熵检测器（计算 token 分布的熵）来动态调整。

3. 层次化编码（Hierarchical Encoding）—— 压缩长文本为固定长度

做法：先用一个编码器（如 BERT）对每个 chunk 编码，得到 chunk 级表示，再把这些表示拼接成一个序列输入主模型。Transformer-XL 的片段级递归就是典型：每个片段保留前一片段的 hidden state 作为记忆。
为什么这么做：解决了滑动窗口的“窗口间信息割裂”问题——递归让模型能跨窗口捕获长程依赖。适合需要全局理解的场景（如长文档分类、代码库理解）。
实际落地的坑 + 解法：坑在于训练不稳定——递归会导致梯度爆炸/消失（尤其是长序列）。解法：梯度截断 + 分段反向传播——只对当前窗口内的 token 计算梯度，前序窗口的 hidden state 只做前向传播不参与反向。这本质是 Transformer-XL 的做法，牺牲了部分长程梯度，但训练稳定。

4. 位置编码扩展（Position Encoding Extension）—— 从架构层面突破

做法：用支持外推的位置编码，如 ALiBi（线性偏置注意力）或 RoPE（旋转位置编码）。RoPE 本身支持外推（通过缩放频率），但直接外推超过训练长度时性能会下降。改进方案：NTK-aware scaling（神经正切核缩放）——动态调整 RoPE 的 base frequency，让模型在长序列上保持注意力分布。
为什么这么做：不需要改训练数据或模型结构，只需改位置编码参数，就能让模型处理更长的序列。适合推理时临时需要长上下文（如长文档 QA），但训练时仍受限于最大长度。
实际落地的坑 + 解法：坑在于外推性能不稳定——RoPE 外推到 2 倍长度时，困惑度可能飙升 10%+。解法：渐进式训练——先训练短序列（如 2048），然后逐步增加序列长度（如 4096、8192），每次只微调位置编码参数（如 base 从 10000 调到 500000）。DeepSeek 的 YaRN 方法就是这种思路，在 4 倍长度外推时保持困惑度几乎不变。

总结：如何选？

分类/匹配任务：截断（head-only） + 重要性采样，性价比最高。
生成任务：滑动窗口 + 动态步长，平衡覆盖和效率。
需要全局理解的场景：层次化编码（Transformer-XL 风格）或位置编码扩展（RoPE + NTK scaling）。
训练 vs 推理：训练时用截断或滑动窗口（避免梯度爆炸），推理时用位置编码扩展（灵活处理任意长度）。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从数据预处理、模型架构、训练策略三个层面回答。数据层面，优先用截断加重要性采样，或滑动窗口加动态步长；架构层面，用层次化编码（如 Transformer-XL 的递归）或支持外推的位置编码（如 RoPE + NTK scaling）；训练层面，用渐进式训练逐步拉长序列。总结一句：没有银弹，根据任务类型和计算预算，在信息覆盖率和训练效率之间做取舍。”

4️⃣ 高频追问 & 应对

追问 1：你说滑动窗口能覆盖全文，但窗口之间信息不共享，长程依赖怎么解决？

滑动窗口的窗口间确实没有直接交互，但可以通过重叠窗口 + 后处理融合来缓解。比如在推理时，对每个 token 取多个窗口的预测结果做平均（类似 ensemble）。更优雅的方案是层次化编码：先用一个轻量级模型（如 BERT）对每个窗口编码，再用一个 Transformer 对这些窗口表示做二次编码。代价是增加一层计算，但能捕获跨窗口依赖。如果预算允许，直接上 Longformer 的稀疏注意力（窗口内全连接，窗口间稀疏连接）是更好的选择。

追问 2：位置编码扩展（如 RoPE 外推）在训练时怎么用？能直接改 base 吗？

不能直接改 base 就训练，否则模型会看到分布偏移（训练时 base=10000，推理时 base=500000）。正确做法是渐进式训练：先在短序列（如 2048）上训练，然后逐步增加序列长度（如 4096、8192），每次只微调位置编码参数（如 base 从 10000 调到 500000），保持其他权重冻结。DeepSeek 的 YaRN 论文证明，这种方法在 4 倍长度外推时困惑度几乎不变。注意：渐进式训练需要重新处理数据（切成长序列），计算量会增加，但比从头训练便宜。

追问 3：如果数据全是超长文本（比如 100k tokens），你选哪种方案？

我会选层次化编码 + 滑动窗口的组合。具体：先用滑动窗口（窗口大小 2048，步长 1024）切分，每个窗口用一个小模型（如 BERT-base）编码成 768 维向量，得到约 50 个 chunk 表示。然后把这些表示输入一个 Transformer（如 12 层，最大长度 512）做二次编码。这样主模型只处理 50 个 token，计算量可控。坑在于 chunk 编码会丢失细粒度信息，所以需要在 chunk 编码时保留每个窗口的 top-k 关键 token（用注意力权重选）。这个方案在长文档分类上效果接近全量模型，但训练速度快 10 倍以上。

5️⃣ 避坑 · 常见错误答法

❌ “直接截断前 2048 tokens，因为开头最重要。” → ✅ “截断前 2048 只适用于开头包含关键信息的任务（如新闻标题），对于法律合同或论文，关键信息可能在中间或结尾。应该用重要性采样或 tail-only 截断（如取最后 2048 tokens）作为 baseline，再对比不同策略。”
❌ “用 RoPE 外推，训练时直接设 base=500000，模型就能处理任意长度。” → ✅ “RoPE 外推需要渐进式训练，否则模型会看到分布偏移。正确做法是先训练短序列，再逐步拉长，每次只微调位置编码参数。直接改 base 会导致训练不稳定，困惑度飙升。”
❌ “滑动窗口的步长越小越好，这样信息不丢失。” → ✅ “步长越小，窗口重叠越多，计算量呈线性增长。应该用动态步长：在信息密集区域用短步长，稀疏区域用长步长。可以用熵检测器自动调整，平衡覆盖和效率。”

6️⃣ 简历呼应

如果你有 RAG 项目：从“长文档分块 + 检索”切入，说明预训练时的截断策略直接影响了检索 chunk 的质量。比如用滑动窗口分块时，步长选择决定了 chunk 边界是否切断了关键实体，进而影响检索召回率。可以提你如何用重要性采样优化 chunk 选择。
如果你只做过传统 NLP：用“文本分类中的截断策略”类比。比如在 IMDB 评论分类中，对比 head-only 和 tail-only 截断的准确率差异，说明预训练长度限制的本质是“信息密度分布不均”。可以迁移到长文本场景，强调“不是所有任务都需要全文”。
如果你是校招无项目：聚焦 RoPE 外推的论文复现。比如用 Hugging Face 的 Llama 模型，在 PG-19 数据集上对比直接外推和 YaRN 渐进式训练的困惑度差异。可以展示你对位置编码原理（旋转矩阵、频率缩放）的理解，以及如何用代码实现 NTK scaling。

7️⃣ 延伸阅读

《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》
《Longformer: The Long-Document Transformer》
《YaRN: Efficient Context Window Extension of Large Language Models》
《RoFormer: Enhanced Transformer with Rotary Position Embedding》
《Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation》

—— 本场面试完 ——