RoPE 位置编码是什么？长上下文外推怎么做？

先这样答

RoPE（旋转位置编码）由苏剑林等人在 2021 年的 RoFormer 论文中提出，现被 Llama、Qwen 等主流开源模型广泛采用。它不对词向量直接加位置信息，而是对查询和键的每对维度乘上与位置成正比的旋转矩阵。其核心优势是形式表现为绝对位置编码，实际效果等价于相对位置编码。

扩展长上下文时，直接输入超长文本会让模型遇到训练中未见过的高频旋转角度，导致注意力分数出现灾难性的异常大值，破坏原有的概率分布，因此需要专门的扩展机制。

目前主流的扩展方案有三种。第一种是位置插值（PI），将新位置索引线性缩小到训练范围内，把外推变为内插。通过不到 1000 步微调即可将模型扩展到 32k 上下文，其插值注意力上界比直接外推小约 600 倍。第二种是 NTK-aware 缩放，不改位置索引，而是修改 RoPE 的频率基数，高频维度近似不动，低频维度受到压缩，能在免微调情况下具备一定外推能力。第三种是 YaRN 方案，在 NTK 基础上按各维度波长分类处理，该插值的插值，该外推的外推，并增加注意力温度缩放来修正熵偏移，比之前的微调扩展方案节省约 10 倍的 token 和计算量。

最后可以这样收束：RoPE 巧妙地用旋转操作统一了绝对与相对位置，而长文本扩展的演进路线本质上是在不破坏已学高频特征的前提下，把远距离位置合理映射回模型熟悉的区间。

面试官会怎么追问

• 「RoPE 为什么等价于相对位置编码？」 查询和键各自乘上旋转矩阵后做内积，根据旋转矩阵的正交性与复数乘法性质，结果中只保留了角度差。最终的注意力分数仅由两个 token 的位置差决定，完成了绝对位置到相对位置度量的转化。
• 「PI 和 NTK-aware 的本质区别是什么？」 PI 对位置索引进行全维度等比例线性压缩，这会牺牲高频分辨率，必须通过微调让模型适应。NTK-aware 则是修改频率基数，按频率进行非均匀处理，高频做外推，低频做内插，保留了局部高频细节，可免微调直接使用。
• 「YaRN 相比 NTK-aware 的改进点在哪？」 YaRN 按波长将维度明确划分为三类进行区别处理，并非简单统一缩放。同时它引入了注意力温度修正机制来解决注意力熵偏移问题，这使得扩展上下文时所需的微调 token 数量比以往方法少约 10 倍。

回答的坑

• 误将 YaRN 归功于特定开源模型，正确做法是明确其出自 Nous Research、EleutherAI 与日内瓦大学联合发表的论文。
• 混淆外推与内插的概念，把 PI 机制说成直接处理未见过的远距离位置，正确方向应指明 PI 本质是将超出训练长度的位置等比缩小回训练窗口内的内插操作。