我们自己训练的模型,真的在这样分配注意力吗?

本课一问:我们自己训练的模型,真的在这样分配注意力吗?

这一课不讲新机制,只看真实数据。先不碰:为什么这个模型的某个头会长成这样(可解释性研究的范畴,这里只做观察)。

从已有出发

前十课的每一个数都能手算,因为向量是我们手工构造的。可真模型里的 W_Q、W_K、W_V 是训练出来的,没有人知道它们会长成什么样。这一课用的是 04-实践项目/ 里我们自己从 0 训练的小模型:在几句话上各跑一次前向,把每一层每个头的 softmax 权重原样导出(导出格式见 C3 设计卡「项目实验数据约定」),页面只负责展示和现算统计。

每句话各有用途(句子由导出脚本选定,切换按钮与数据文件一致,每句下方的说明也来自数据文件):

• 贯穿例句「小明把苹果给了小王。」——我们的训练语料是繁体古白话(《三國志演義》),这句简体现代汉语对模型来说是分布外的。字节级 BPE 会把没见过的字切成「半个字」,页面上用虚线框把拼成一个字的几个 token 圈在一起(C1 讲过这个现象)。
• 同结构的构造句「玄德把劍給了關公。」——人名和繁体字取自语料,结构和贯穿例句一样;但「把…給了」这个句式在语料里一次都没出现,「給」在训练集里太少见,仍被切成两个字节 token。
• 有重复片段的语料原句「話說天下大勢，分久必合，合久必分：……」(全书开头,在训练集里)——「久必」「合」「分」都出现了两次,用来看有没有头在第二次出现时「回头找上一次」。
• 模型没见过的语料原句:取自验证集(书末 10%,训练时没用),文体和训练文本相同,用来对照「见过」与「没见过」。

先猜,再看

在打开数据之前,先写下你的预测(写在纸上就行),看完再对照:

1. 右上三角(未来位置)的权重会是多少?每一行的和呢?
2. 越靠后的层,注意力图会更「散」还是更「尖」?
3. 会不会有某个头几乎只看前一个 token?在第几层?
4. 第一个 token 会不会像大模型那样吸走大量注意力(岔路 B4 的 attention sink)?

真模型:逐层逐头的注意力

读图的规矩。这些图只是一个小模型在几句话上的一次前向:每个格子是一个权重,不是一个解释。某个头在这几句话上「看前一个 token」,不代表它在别的文本上也这样;第一列很亮,不代表第一个词最重要(岔路 B4)。模式分数和基线都由组件对数据现算,页面上的结论句也是按数据生成的。

对照:浏览器里跑的真 GPT-2

怎么复现这份数据

数据由项目侧脚本生成(约定的路径是 04-实践项目/experiments/exp_c3_attention.py),读取 runs/<run_name>/ckpt.pt 与 data/processed/tokenizer.json,用模型的 return_attn=True 走手写注意力路径导出权重,再在验证集上统计第一个 token 的平均注意力,写入 知识平台/src/data/project/c3-attention.json。换一个配置重训(比如改 n_kv_head 或开 qk_norm)再导一次,就能看同一句话在不同模型里的图有什么变化。

⚠ 常见误解

证据三问

1. 它回答什么问题?前十课用手工向量讲的机制,在一个真训练出来的模型里是否成立、长什么样。
2. 哪些是可证明的?未来位置权重恰为 0、每行和为 1——由掩码与 softmax 保证,页面的数据自检逐项核对 可证明 。
3. 哪些只能看实验?每个头学成什么样、有没有 sink、有没有归纳头,都是这一个模型、这几句话上的观察,换模型换数据可能不同 实验验证 。

一句话

机制是可证明的,长成什么样只能看实验:掩码与 softmax 在真模型上分毫不差,每个头学到什么,要一个一个去看。

下一步

本章到此结束。回 章首页 看项目验收清单与三档资料;下一章 C4 讲注意力取回信息之后,每个 token 自己还要做的加工:FFN、残差、归一化、门控。

你可能会问

这一课还没有收到真实提问;你的提问会记到 05-问答记录/C3-Lab.md。