整门课的地基:从「小猫 喜欢 吃 ___」出发,把训练一个网络要的每一件东西都被一个真数字逼出来——为什么要调参数、loss 为什么是 −ln p、为什么沿梯度走、梯度怎么一次算完、为什么要非线性、为什么要验证集、词怎么进网络。每一步都在浏览器里真算、真训练。
- 1 已完成
- 2 已完成
- 3
往哪边改、改多少? ↓ 缺口：梯度要对每个参数都算一遍——两万多个、两百多亿个参数,怎么算得过来?
已完成 - 4
参数一多,梯度怎么算? ↓ 缺口：梯度会算了,可这个模型只会「各部分加起来再打分」——要看组合才能判断的规律,它学得会吗?
已完成 - 5 已完成
- 6 已完成
- 岔路 已完成
- 7
离散的词怎么进网络? ↓ 缺口：词进了网络,「下一个词」的概率怎么算、为什么终点是 Transformer?(进入 C0 序章)
已完成
终点为什么是「下一个词的概率」,中间为什么是注意力。从数数的 bigram 出发,每一代方法都死在一个能算出来的数字上:0 概率、0.9 的 100 次方、塞进一个向量的整句、N×N 的分数矩阵——一路被逼到今天的 Transformer 与自回归预训练。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 4 已完成
- 5 已完成
神经网络只会算数字。这一章把一句中文变成 [T × 5120] 的向量矩阵:先切成 token,再换成词表行号,最后查表变成向量——每一步为什么这样做,都从朴素方案的失败里逼出来。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 岔路 已完成
- 4 已完成
- 5 已完成
- 6 已完成
- 7 已完成
- 实验 已完成
Embedding 只说明了每个 token 是什么,没说明它在哪里。这一章从「不加位置分不清顺序」出发,经过直接塞编号、可学习位置、正弦公式,一路被真数字逼到 RoPE,再追到长上下文扩展。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 岔路 已完成
- 5 已完成
- 实验 已完成
到上一章为止,每个 token 都是一个带着位置的向量,可它只知道自己。这一章从「直接拿向量比相似度」出发,一步步被逼出 Q/K/V、点积、softmax、因果掩码、多头,再到生成时的 KV cache 和把它压小的 GQA、MLA。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 5 已完成
- 6 已完成
- 7 已完成
- 岔路 已完成
- 岔路 已完成
- 8 已完成
- 9 已完成
- 10
KV 还能再压吗? ↓ 缺口：先到实验课:我们自己训练的模型真的在这样分配注意力吗?然后 → C4:注意力把信息取回来之后,每个 token 自己还要做什么加工?
已完成 - 实验 已完成
注意力让每个 token 取回了上下文,可一个块里不只有注意力。这一章把剩下的零件一个个「逼」出来:FFN、残差、归一化、门控,最后算清一个块、一整个模型的参数花在哪。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 岔路 已完成
- 实验 已完成
前五章把网络从文字一路搭到下一个 token 的概率,loss 和反向传播给出了每个参数的梯度。这一章回答最后一步:拿到梯度,参数怎么动。从「沿梯度走一步」出发,被一个个真数字逼出动量、Adam、AdamW、warmup、cosine 与 WSD、梯度裁剪,最后到 2025–2026 年前沿模型换上的 Muon。所有 loss 曲线都是在你的浏览器里真训练出来的,或来自我们项目的真实日志。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 5 已完成
- 岔路 已完成
- 6 已完成
- 7 已完成
- 实验 已完成
大模型只训得起一次。这一章从「训完再看」出发,一路被真数字逼到现代做法:先用小模型拟出缩放律,再按预算分配参数和数据,把推理成本算进账本,最后连学习率和 batch 也跟着规模缩放。所有拟合都在页面里用真实的公开实验点现算。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 4 已完成
- 实验 已完成
前六章一直把「文字」当成现成的输入。这一章把项目的原始语料当成一次网页快照,一步步洗成训练数据:还原正文、规则过滤、去重、质量分类器、配比、重复与合成、退火与 mid-training——每一步都被上一步在某个真数字上的失败逼出来。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 4 已完成
- 5 已完成
- 6 已完成
- 实验 已完成
优化器、规模、数据都定了,把模型放大,训练就会以各种方式出事:一初始化就溢出、离不开 warmup、开着裁剪还 spike、注意力 logit 长到上千、小模型调好的学习率到大模型上不能用。这一章把每一种「炸」对应到一个能测的量,再看 2017 到 2026 年各家怎样给它装上仪表、设上限。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 5 已完成
- 实验 已完成
推理时一个参数 2 字节,训练时 16 字节。这一章从这本账出发,每砍一次位宽就在一个真数字上失败一次:FP16 让 10⁻⁸ 变成 0,BF16 让 257 变成 256,FP8 让离群值拖垮整张量,FP4 只剩 16 个码点;再看另一半账——激活,它由序列长度决定,还带 s²。
- 1 已完成
- 2 已完成
- 3 已完成
- 4
8 位还能训吗? ↓ 缺口：参数、梯度、矩阵乘都压下来了,为什么一开长序列显存还是爆?
已完成 - 岔路 已完成
- 5
激活为什么比参数还占显存? ↓ 缺口：先到实验课,在我们的模型上把四种精度和显存账对一遍;然后:激活压下去之后,27.8B 的 444.5 GB 模型状态仍放不进一张 80 GB 的卡——一张卡不够,怎么办?
已完成 - 实验 已完成
C9 算完账:锚点 Qwen3.8-27B 训练一步要 444.5 GB 模型状态,一张 80 GB 的卡放不下,也算不完。这一章依次切 batch、模型状态、层内矩阵、层,岔路再切序列和专家;每切一维,就多付一种通信代价。本章所有数字来自公式与公开实测,不是我们自己跑的。
- 1 已完成
- 2
每张卡都放不下怎么办? ↓ 缺口：ZeRO-3 之后,每张卡仍在一个人算完整的一层、存自己那份激活——一层的矩阵乘能不能拆开算?
已完成 - 3 已完成
- 4 已完成
- 岔路 已完成
- 岔路 已完成
- 实验 已完成
C10 让放不下的模型跑了起来。这一章问另一件事:参数要更多、上下文要更长,但每个 token 的计算和显存不能跟着等比例涨。FFN 那边用 MoE 把「参数」和「每个 token 的计算」分家;注意力那边用线性注意力和稀疏注意力把 KV 与计算从长度里解放出来——锚点 Qwen3.8 另外 48 层就在这里揭晓;训练那边用「先短后长」把长序列的成本压到预算的一小角。
- 1 已完成
- 2 已完成
- 3
专家该大还是小? ↓ 缺口：FFN 这边「多参数不多算」有了;注意力那边,长文本的 KV 还能再压吗?
已完成 - 4 已完成
- 5 已完成
- 6
训练 4K,使用 128K? ↓ 缺口：先到实验课:4 个专家在我们自己的模型上抢活吗?然后 → C12:模型会续写、能读长文,可它只会续写——怎么让它听话?
已完成 - 岔路 已完成
- 实验 已完成
预训练出来的模型只会接着往下写。这一章从「原样把问题交给它」出发,一路被真数字逼到 SFT、奖励模型与 PPO、DPO、GRPO、可验证奖励、思考模型、蒸馏,最后在环境里做多轮 RL,把模型交给 Agent 课。每一步都在回答两个独立的问题:梯度怎么算,奖励从哪来。
- 1 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 5 已完成
- 岔路 已完成
- 6 已完成
- 7 已完成
- 8 已完成
- 实验 已完成
前十二章把模型训了出来,还教会了它听话、推理、做事。可真正用起来,它一次只吐一个 token,而且慢得反常:KV cache 早把计算省到每步一个 token 了。这一章从屋顶线出发,找到解码的真瓶颈——每个 token 都要把整个模型从显存读一遍;再沿着这个瓶颈看服务端的连续批处理与分页 KV、一个字都不改的投机解码、少读字节的量化,最后把「快」拆成几个互相拉扯的数。
- 1 已完成
- 岔路 已完成
- 2 已完成
- 3 已完成
- 4 已完成
- 5
服务快不快,该看哪几个数? ↓ 缺口：快的账算清了;量化后验证 loss 涨的那一点、报出来的 benchmark 分数,能信几分?(投机解码按构造不改输出分布)
已完成 - 实验 已完成
全课的「读仪表」收束章。前面十三章造出了一整条训练链,这一章问:我们看到的每个数字,能信几分?训练中,loss 是结果、不是状态,要配上开局 ln V、梯度范数、最大 logit 这几块仪表;训练后,公开 benchmark 的分数混着「见没见过题」和「怎么考」;做决策时,小实验的差距要先和噪声比,「突然涌现」常常是尺子的形状。所有数字来自我们项目的几十个真实 run、浏览器里现场训练的小模型,以及逐字核对过的论文与第三方评测。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 实验 已完成
全课的毕业考。不教新组件,而是拿前面各章的工具——C3 的 KV 账、C4 的参数账本、C5 的 Muon、C8 的截断与残差、C9 的 FP4、C11 的 MoE 与线性 / 稀疏注意力——去拆 2026 年 8–9 月的四家开源前沿:Qwen3.8、GLM-5.3、DeepSeek-V4.1、Kimi K3。每一处设计都标出它回扣哪一章,并分清「真新东西」与「只是放大」。
- 1 已完成
- 2 已完成
- 岔路 已完成
- 3 已完成
- 4 已完成
- 岔路 已完成
- 实验 已完成