从0训练LLM · 现代大模型体系 岔路 阅读 + 实验 ≈ 25 分钟 页内实验 ×1
C11 更大更省:MoE、线性/稀疏注意力与长上下文 岔路课

只预测下一个 token,是不是太短视?

多 token 预测(MTP)
预训练的目标一个字没变:每个位置预测下一个 token。MTP 在旁边加几个小模块,让每个位置再多学一个更远的目标——训练信号更密;推理时这些模块还能当草稿,一次猜好几个 token。DeepSeek-V3 的第 2 个 token 接受率 85%–90%,实测快 1.8 倍;锚点 Qwen3.8 也带一个 4.2 亿参数的 MTP 层。可 2026 年,DeepSeek-V4.1 又把它从预训练里拿掉了。
🔀

这是一堂岔路课,兑现一个伏笔。C0 第 5 课说,2026 年所有主流开源 LLM 的预训练目标仍是「下一个 token 的交叉熵」,改动都在目标之外——其中之一是「多预测几个 token 的辅助目标」。

本课一问:只预测下一个 token,是不是太短视?
这一课先不碰:投机解码为什么不改变输出分布(C13 证明);草稿模型本身怎么训(EAGLE-3、DSpark 的细节)。

从已有出发

从已有出发 · 累计数据流 点已学环节看形状与参数
解码层

贯穿例句「小明把苹果给了小王」的 5 个 token 进入模型,lm_head 在每个位置给出「下一个 token」的概率,训练时和真实的下一个 token 算交叉熵(C0 第 5 课)。所以这句话在第 1 个位置学「把」、第 2 个位置学「苹果」……最后一个位置没有目标。

先自己设计:只预测下一个

  1. ① 朴素方案
  2. ② 它在哪失败
  3. ③ 改进方案
朴素方案每个位置只学下一个 token

训练信号只看一步之外;生成时一步一个 token,没有任何办法跳着走。Gloeckle 等人 2024 的说法是:只学下一个 token,模型容易被「局部的强相关」带着走,少了对后面几步的规划。

改进:从并行的几个头,到保持因果链的串行模块

这件事的出处要写对:多 token 预测不是 DeepSeek 首创。

DeepSeek-V3 的 MTP(式 (21)–(25))
= , , ;
👆 公式里带下划线的每一项都可以点——点哪项，讲哪项。
报告的两条动机:让训练信号更密、可能提高数据效率;让模型「预先规划」表示以更好地预测后面的 token。第二条是理论动机,没有被单独验证。

极小真数字:当草稿用,每步能出几个 token

MTP 计算器 · 期望产出(公式现算)与锚点的 MTP 层(config 现算 vs safetensors 实测)
B. 推理时当草稿:每做一次完整前向,期望产出几个 token
C. 锚点 Qwen3.8-27B 的 MTP 模块有多大(config 现算 vs 实测)
🎯

试三件事:① α = 0.85、D = 1:每步期望 1.85 个 token;拖到 0.90 是 1.90——DeepSeek-V3 实测 1.8 倍 TPS,差出来的是草稿和验证本身的开销;② 把 D 拖到 3:上限是 4,可期望涨得越来越慢,因为后面的草稿要前面都被接受才算数;③ 看锚点那张表:424,699,392 个参数由 config 逐项算出,与 safetensors 实测分项逐位相同,约占全模型的 1.5%。

2026 的分歧:MTP 留在预训练里,还是挪出去?

这是一个真实的分歧点:MTP 的两个用处——让训练信号更密、给推理当草稿——被 V4.1 拆开了,前者放弃,后者交给专门的草稿模型。哪条路更好,目前没有同条件对照。

⚠

常见误解一:「MTP 改了预训练的目标。」 主损失仍然是下一个 token 的交叉熵;MTP 是乘了 λ 的辅助项,推理时可以整个丢掉。

常见误解二:「用 MTP 当草稿会让输出变差。」 投机解码用目标模型验证草稿,输出分布与不用草稿时完全一样(C13 给出证明);草稿猜得差只会让它变慢,不会让它变错。

常见误解三:「MTP 一定提升模型质量。」 Gloeckle 等人的小模型反而更差;V4.1 去掉它也没有公开质量对照。它的收益与规模、任务有关。

本章演进图:每一代都被上一代的某个真数字逼出来(本课所在的一代已高亮;其余两条线可展开)
① 更多参数,不要更多算力(MoE)
  1. 朴素 dense 直接放大 算力 ∝ 参数
    解决了结构最简单:所有参数对每个 token 都生效。
    卡在锚点 Qwen3.8-27B 每 token 前向约 51.2 GFLOPs;同家族 2.4T 规模若是 dense,约 4.84 TFLOPs(94 倍)。
  2. 第一代 稀疏门控 MoE Shazeer 2017 → GShard → Switch
    解决了每个 token 只算 top-k 个专家:Qwen3.8-2.4T-A95B 每 token 约 186.5 GFLOPs,是同参数 dense 的 26 分之一。
    卡在路由会自我强化地偏心:8 个专家全挤到 1 个时,Switch 负载损失从 0.01 升到 0.08;所有专家的权重仍要常驻显存。
  3. 改进 ① 辅助损失 α·N·Σf·P Switch 2021(α = 10⁻²)
    解决了把「均衡」写进 loss,路由器被梯度推向均匀。
    卡在α 难调:太小拉不平,太大干扰主 loss(Switch 在 10⁻¹ 到 10⁻⁵ 之间扫;Wang 2024 的出发点)。
  4. 改进 ② 无辅助损失偏置 Wang 2024 → DeepSeek-V3
    解决了偏置只改「选谁」,不进门控、不产生干扰梯度;DeepSeek-V3 前 14.3T token 用 γ = 0.001,最后 500B 设为 0。
    卡在固定步长在近千个专家时太慢或来回震荡(Kimi K3 报告)→ Quantile Balancing;而且统计范围(整批 vs 单条序列)比「有没有 loss」更要紧。
  5. 改进 ③ 细粒度专家 + 共享专家 DeepSeekMoE 2024
    解决了同参数同计算,16 选 2 的 120 种组合变成 64 选 8 的 4,426,165,368 种;共享专家装公共知识。
    卡在显存账不减:Qwen3.8-2.4T 路由专家占主干参数 97.98%,BF16 权重 4.89 TB。
  6. 2026 极高稀疏度与分歧 Qwen3.8 · K3 · V4.1
    解决了Qwen3.8-2.4T 512 选 10 + 1 共享;K3 896 选 16 + LatentMoE + Quantile Balancing;V4.1 图文两套偏置。
    卡在共享专家 0、1、2 个都有人用(Qwen3 一个不设),稀疏度从 32 到 64 都有(GLM-5.3 与 V3 为 32、GLM-5.3-Flash 36、K2 48、Qwen3.8 51、K3 56、V4.1-Flash 64)——都是实验选择。
② 长文本:KV 与计算不再随长度等比例涨
  1. 起点 全注意力 + GQA 或 MLA C3
    解决了每个 token 都能精确回看任意一个前文 token。
    卡在KV ∝ 长度:锚点若 64 层全是全注意力,262,144 token 时 64 GiB。
  2. 第一步 线性注意力 Katharopoulos 2020
    解决了去掉 softmax,求和提前累加成一个固定大小的状态,与长度无关。
    卡在只加不减:同一个键写两次,读回的是两个值之和;状态最多装 d 对互不干扰的键值(C0 岔路)。
  3. 第二步 Gated DeltaNet · 3:1 混合 Schlag 2021 → Yang 2024 → Qwen3-Next、3.8
    解决了写前先擦(delta)、每步衰减(门):锚点 48 层状态共 144 MiB(FP32)、与长度无关;KV 降到四分之一(262,144 时 16 GiB 对 64 GiB)。
    卡在剩下四分之一的全注意力层仍按长度涨;容量有限,3:1 是实验选出来的。
  4. 工程化 KDA + 衰减下界 Kimi Linear → K3 → GLM-5.3-Flash 等
    解决了每通道一个衰减;g_min = −5 让 16 token 块内累积不低于 −80,e⁸⁰ ≈ 5.5 × 10³⁴ 在 BF16 范围内(上限约 3.4 × 10³⁸),慢路径删除。
    卡在MiniMax M1 用线性混合、M2 又退回全注意力:大规模下多跳推理缺陷、训练受访存限制、低精度与缓存难题(官方博客)。
  5. 另一条路 稀疏注意力 DSA DeepSeek-V3.2 2025
    解决了lightning indexer 每个 query 只挑 top-2048 条做核心注意力。
    卡在省计算不省内存:KV 一条不少,每 token 48,068 B;indexer 本身仍要扫全部前文。
  6. 2026 压序列 + 压层 + 压精度 DeepSeek-V4 CSA + HCA → V4.1 CSA2 + CED
    解决了V3.2 每 token 48,068 B → V4-Flash 3,514 B → V4.1-Flash 890 B(1M 时 0.87 GiB)。
    卡在是近似:V4.1 自陈 Bounded Replay「数学上不等价」、选择误差可能在未测过的边界情况退化。
③ 训练 4K,使用 128K
  1. 回扣 C2 直接外推、PI、NTK、YaRN 2023
    解决了推理时把新位置折算回训练见过的角度范围。
    卡在零样本外推有代价,方法的超参数带着它被调出来时的规模(C2 第 5 课与项目实测)。
  2. 朴素 从头就用长序列训 最直接的想法
    解决了训练与使用同一个长度,不需要任何折算。
    卡在注意力项随长度涨:Qwen3-32B(64 层全注意力)在 131,072 时注意力项是 6N 的 215%;早期长序列还带来梯度方差极端值(Li 2021)。
  3. 现代做法 先短后长 + ABF BERT → Llama 3 → DeepSeek-V3 · Qwen3
    解决了DeepSeek-V3 的 14.8T token 全在 4K,之后两段各 1,000 步扩到 32K、128K,只占全部训练 token 的 0.84%;Llama 3 405B 六段、约 800B token。
    卡在长序列阶段的数据要专门配(长度上采样、领域均衡、合成跨全文任务)。
  4. 2026 分歧 课程在缩短 Kimi K3 · DeepSeek-V4.1
    解决了K3:8K → 64K → 256K → 1M(NoPE 也照走课程);V4.1 注意力从头就是压缩稀疏的,直接从 64K 起训。
    卡在各家配方大多只公开阶段、不公开每段 token 数,无法横向比较成本。
  5. 岔路 多 token 预测 MTP Stern 2018 → Gloeckle 2024 → DeepSeek-V3 你在这里
    解决了每个位置多学一个更远的目标;推理时当草稿,接受率 α 时每步期望产出 1 + α 个 token。
    卡在DeepSeek-V3 第 2 个 token 接受率 85%–90%,实测 1.8 倍 TPS;V4.1 预训练干脆去掉 MTP,没有公开消融。
数字口径:锚点、Qwen3.8-2.4T、Qwen3-32B、DeepSeek 各代的数字由 anchor-model.json / frontier-models.json(DeepSeek-V3.2、V4-Flash 取本章补充 config)在构建时现算;KV 字节按 FlashMLA 官方 README 的缓存格式计(indexer key 为推算,见第 5 课);FLOPs 只数矩阵乘,乘加记 2。Switch α、DeepSeek-V3 的 γ 与长上下文两段、K3 的 g_min 与长度课程出自各自原文(本地 PDF 已核);MiniMax 的理由出自其官方博客(2025-10-29)。

证据三问

问本课的回答
① 它解决什么问题?每个位置只有一个训练目标(信号稀);推理一步只出一个 token
② 数学上为什么可能有效?当草稿时的期望产出 1 + α + … + αD 是算术 ;「更密的信号、更好的规划」是理论动机
③ 实验上为什么最后选了它?Gloeckle 13B 代码任务提升、DeepSeek-V3 1.8 倍 TPS;但小模型更差、V4.1 挪出预训练

一句话

📌

MTP 让每个位置多学一个更远的目标,训练信号更密,推理时还能当草稿;它是可以拆掉的辅助项,2026 年有人把它挪到了预训练之后。

回到主线

实验课:4 个专家在我们自己的模型上抢活吗? → 实验课;之后进入 C12 后训练。

你可能会问