同样三个 token 换个顺序,模型分得出来吗?

从已有出发

C1 结束时,一句话已经变成了一个矩阵:切分 → Token ID → 查 Embedding 表,每个 token 一行 5,120 维向量。贯穿本章的两句话,用锚点模型 Qwen3.8 的真 tokenizer 切出来是这样:

两句话用的是同一组 ID,只是排列不同。Embedding 查表只认 ID:ID 115942 不管出现在句首还是句尾,查到的都是表里同一行。所以进入模型的是同样三个向量,只换了排列顺序。

流水线里「位置」这一环就是本章要补的。补之前,先证明它非补不可:假设模型里只有 Embedding 和注意力,看它能不能自己分清先后。

先自己设计:什么都不加,直接让 token 互相看

注意力要到 C3 才细讲,这一课只需要它的一个事实:第 i 个位置的输出,是所有 token 的 v 向量按权重加起来;权重来自 q_i 和每个 k_j 的点积,再过 softmax。而 q、k、v 都是各自 token 的向量乘一个矩阵得来的。把公式逐项拆开看,顺序在哪一项丢掉的:

公式看完,亲手跑一次。下面每个数都在你的浏览器里现算:

为什么差值恰好是 0:置换等变

把上面的现象写成一行代数。用 P 表示「把行重新排列」的矩阵(句子 A → 句子 B 就是一个这样的 P):

• 输入换了行:X′ = PX。q、k、v 都是逐行乘矩阵,所以 Q′ = PQ、K′ = PK、V′ = PV。
• 分数矩阵 Q′K′^ᵀ = P(QK^ᵀ)P^ᵀ:行和列按同一个顺序重排,里面的数一个不少、一个不变。
• softmax 按行算,重排行列不影响每行里的数值;乘上 V′ 之后,输出 O′ = P·O。

结论:置换输入,只会同样地置换输出 可证明 。数学上这叫置换等变。每个 token 得到的输出只取决于「句子里有哪些 token」,和它们的排列无关。

页面上的差值是精确的 0,还要多一个条件。浮点加法不满足结合律,(a+b)+c 和 (c+b)+a 可能差最后一位。为此,组件里对 j 的求和一律按 token ID 的固定顺序相加。换成 numpy 直接相加,差值是 2.2×10⁻¹⁶ 级的舍入误差,数学上仍然恰为 0。

有一个常见说法:「没有位置编码时,Transformer 看到的是一袋词。」它只能当入口用,要配上精确映射和失效点:

• 映射:「一袋」对应多重集——只记录有哪些 token、各几个,不记录排列。本课的等变性质说的正是这一点:输出只依赖这个多重集。
• 失效点:词袋模型给整句一个固定表示,注意力却给每个 token 一个随上下文变化的输出。句子里多一个或少一个 token,「小明」的输出就会变;这里丢掉的只是「顺序」,不是「上下文」。所以更准确的说法是「等变」,不是「看不见上下文」。

位置编码的演进,你在这里

证据三问

一句话

下一个缺口

那就把位置告诉它——最直接的办法是什么? → 第 2 课:直接把位置编号告诉模型,行不行?

两处回扣先记下:公式里 q、k、v 从哪来、为什么用点积打分,C3 第 1–2 课兑现;掩码透露位置线索这件事,本章第 5 课兑现。

你可能会问

• 「那 GPT 这类只能看前文的模型呢?掩码不是也分了先后吗?」 分了一部分,见上面的「打开因果掩码会怎样」;完整回答在第 5 课的 NoPE 一节。
• 「RNN 为什么不需要位置编码?」 RNN 逐个读入 token,第 t 步的状态由第 t−1 步算出,「先后」就写在计算顺序里。代价是必须一步一步算、没法并行,这正是 Transformer 放弃它的原因(C0 序章第 2 课)。
• 「把 token 按顺序排好再送进去,顺序不就在里面了吗?」 矩阵的行号不参与任何计算:矩阵乘和按行 softmax 对「哪一行排第几」一视同仁,推导里的 P 就是在说这件事。顺序要起作用,必须有某个数值随行号变化——这个数值就叫位置编码。