从0训练LLM · 现代大模型体系 阅读 + 实验 ≈ 30 分钟 页内实验 ×2
C11 更大更省:MoE、线性/稀疏注意力与长上下文 第 3 课

专家该大还是小?

专家该大还是小
16 个大专家选 2 个,每个 token 只有 120 种组合。把每个专家切成 4 份、选 8 份,参数和计算一个不变,组合变成 44 亿种;再单独留几个每个 token 都用的共享专家,装公共知识。2026 年的前沿都走到了几百个细专家——可共享专家要几个,各家答案不同,Qwen3 一个都不设。

本课一问:专家该大还是小?

这一课先不碰:专家多了以后 all-to-all 怎么变贵、怎么限制跨节点(C10 岔路 2);每个专家用 4 位存(C9 岔路)。

从已有出发

从已有出发 · 累计数据流 点已学环节看形状与参数
解码层

第 1 课里,贯穿例句「小明把苹果给了小王」的每个 token 在 Qwen3.8-2.4T 的一层里选 10 个专家;第 2 课保证了这些专家都在干活。还剩一个设计问题:同样的参数预算,是分成少而大的专家,还是多而小的专家?每个 token 能选出多少种不同的「专家组合」,就是这个问题的一个直接度量。

先自己设计:16 个大专家,每个 token 选 2 个

GShard、Switch 一代的做法是专家数不多、每个都很宽(和 dense FFN 一样宽)。DeepSeekMoE 论文拿「16 个专家选 2」举例:

  1. ① 朴素方案
  2. ② 它在哪失败
  3. ③ 改进方案
朴素方案少而大:16 个专家,每个 token 选 2 个

每个 token 从 16 个里挑 2 个,一共只有 120 种挑法。「贯穿例句里的『苹果』需要的那部分知识」和「代码里的某种括号模式」很可能被迫挤进同一个大专家——DeepSeekMoE 把这叫知识杂糅;而每个专家都要自己学一遍通用的语言模式,叫知识冗余。

改进:细粒度切分 + 共享专家(DeepSeekMoE)

Dai 等人 2024 的两个动作:① 细粒度切分:每个专家的中间维切成 1/m,专家数变成 mN、每个 token 选 mK 个——参数总量和每 token 的计算逐项不变,组合数暴涨;② 共享专家隔离:单独留 Ks 个专家,每个 token 都经过,专门承载公共知识,让路由专家少做重复功。

DeepSeekMoE:细粒度 + 共享(DeepSeek-V3 式 (12) 的结构)
= u + +
👆 公式里带下划线的每一项都可以点——点哪项，讲哪项。
组合数 C(N_r, K_r) 只看路由专家;共享专家不参与挑选,不增加组合。

DeepSeekMoE 论文自报:16B 的模型只用约 40% 的计算,达到 LLaMA2 7B 的水平 。组合数本身是精确的 ,但「组合多 = 专家更专精 = 效果更好」这一环是理论动机加实验,不是定理。

2026 年的真实配置

前沿 MoE 配置 · 官方 config 现算
B. 2026 年的真实配置(官方 config 现算)
数字口径:frontier-models.json(HF 官方 config.json);「输入维」是专家看到的向量维度(Kimi K3 的路由专家在 3,584 维潜空间里算,LatentMoE);组合数 = C(路由专家数, 选几个),不含共享专家(它每个 token 都用)。Qwen3-235B 一行取自 Qwen3 技术报告(arXiv 2505.09388)原文,不是 config。门控函数一列:DeepSeek / GLM / Kimi 取 config 字段;Qwen 的 config 不写,取 HF transformers 实现(softmax 后选 top-k 再归一化)。

读这张表:

⚠

常见误解一:「专家是按学科分工的:一个数学专家、一个代码专家。」 不是。路由学到的分工通常在更细的 token 模式上(语法、某类子词),同一个专家会在各种领域里被点亮。Mixtral 论文统计了 The Pile 各子集的专家分配,原话是「没有观察到按主题分配专家的明显模式」,ArXiv、PubMed、哲学论文的分布非常相似;按专家给 token 上色时,Python 里的 self 这类词常被派给同一个专家——是语法结构,不是学科 。上面 SideRef 里的真路由可视化可以亲眼看。DeepSeek-V3 的图 9 倒是显示,batch 级均衡下不同领域的专家负载分布不同——那是统计上的偏好,不是「一个专家管一个学科」。

常见误解二:「组合数越多,模型一定越强。」 组合数只是「能表达多少种专家搭配」的上限;专家太细会让路由、通信、均衡都更难(K3 为此专门加了 LatentMoE 和 QB)。最终效果只能靠实验比。

常见误解三:「共享专家是 MoE 的标配。」 0 个(Qwen3、MiMo)、1 个(DeepSeek-V3 / V4.1、GLM、Qwen3.8)、2 个(DeepSeek-V2、K3)都有人用。

本章演进图:每一代都被上一代的某个真数字逼出来(本课所在的一代已高亮;其余两条线可展开)
① 更多参数,不要更多算力(MoE)
  1. 朴素 dense 直接放大 算力 ∝ 参数
    解决了结构最简单:所有参数对每个 token 都生效。
    卡在锚点 Qwen3.8-27B 每 token 前向约 51.2 GFLOPs;同家族 2.4T 规模若是 dense,约 4.84 TFLOPs(94 倍)。
  2. 第一代 稀疏门控 MoE Shazeer 2017 → GShard → Switch
    解决了每个 token 只算 top-k 个专家:Qwen3.8-2.4T-A95B 每 token 约 186.5 GFLOPs,是同参数 dense 的 26 分之一。
    卡在路由会自我强化地偏心:8 个专家全挤到 1 个时,Switch 负载损失从 0.01 升到 0.08;所有专家的权重仍要常驻显存。
  3. 改进 ① 辅助损失 α·N·Σf·P Switch 2021(α = 10⁻²)
    解决了把「均衡」写进 loss,路由器被梯度推向均匀。
    卡在α 难调:太小拉不平,太大干扰主 loss(Switch 在 10⁻¹ 到 10⁻⁵ 之间扫;Wang 2024 的出发点)。
  4. 改进 ② 无辅助损失偏置 Wang 2024 → DeepSeek-V3
    解决了偏置只改「选谁」,不进门控、不产生干扰梯度;DeepSeek-V3 前 14.3T token 用 γ = 0.001,最后 500B 设为 0。
    卡在固定步长在近千个专家时太慢或来回震荡(Kimi K3 报告)→ Quantile Balancing;而且统计范围(整批 vs 单条序列)比「有没有 loss」更要紧。
  5. 改进 ③ 细粒度专家 + 共享专家 DeepSeekMoE 2024 你在这里
    解决了同参数同计算,16 选 2 的 120 种组合变成 64 选 8 的 4,426,165,368 种;共享专家装公共知识。
    卡在显存账不减:Qwen3.8-2.4T 路由专家占主干参数 97.98%,BF16 权重 4.89 TB。
  6. 2026 极高稀疏度与分歧 Qwen3.8 · K3 · V4.1 你在这里
    解决了Qwen3.8-2.4T 512 选 10 + 1 共享;K3 896 选 16 + LatentMoE + Quantile Balancing;V4.1 图文两套偏置。
    卡在共享专家 0、1、2 个都有人用(Qwen3 一个不设),稀疏度从 32 到 64 都有(GLM-5.3 与 V3 为 32、GLM-5.3-Flash 36、K2 48、Qwen3.8 51、K3 56、V4.1-Flash 64)——都是实验选择。
② 长文本:KV 与计算不再随长度等比例涨
  1. 起点 全注意力 + GQA 或 MLA C3
    解决了每个 token 都能精确回看任意一个前文 token。
    卡在KV ∝ 长度:锚点若 64 层全是全注意力,262,144 token 时 64 GiB。
  2. 第一步 线性注意力 Katharopoulos 2020
    解决了去掉 softmax,求和提前累加成一个固定大小的状态,与长度无关。
    卡在只加不减:同一个键写两次,读回的是两个值之和;状态最多装 d 对互不干扰的键值(C0 岔路)。
  3. 第二步 Gated DeltaNet · 3:1 混合 Schlag 2021 → Yang 2024 → Qwen3-Next、3.8
    解决了写前先擦(delta)、每步衰减(门):锚点 48 层状态共 144 MiB(FP32)、与长度无关;KV 降到四分之一(262,144 时 16 GiB 对 64 GiB)。
    卡在剩下四分之一的全注意力层仍按长度涨;容量有限,3:1 是实验选出来的。
  4. 工程化 KDA + 衰减下界 Kimi Linear → K3 → GLM-5.3-Flash 等
    解决了每通道一个衰减;g_min = −5 让 16 token 块内累积不低于 −80,e⁸⁰ ≈ 5.5 × 10³⁴ 在 BF16 范围内(上限约 3.4 × 10³⁸),慢路径删除。
    卡在MiniMax M1 用线性混合、M2 又退回全注意力:大规模下多跳推理缺陷、训练受访存限制、低精度与缓存难题(官方博客)。
  5. 另一条路 稀疏注意力 DSA DeepSeek-V3.2 2025
    解决了lightning indexer 每个 query 只挑 top-2048 条做核心注意力。
    卡在省计算不省内存:KV 一条不少,每 token 48,068 B;indexer 本身仍要扫全部前文。
  6. 2026 压序列 + 压层 + 压精度 DeepSeek-V4 CSA + HCA → V4.1 CSA2 + CED
    解决了V3.2 每 token 48,068 B → V4-Flash 3,514 B → V4.1-Flash 890 B(1M 时 0.87 GiB)。
    卡在是近似:V4.1 自陈 Bounded Replay「数学上不等价」、选择误差可能在未测过的边界情况退化。
③ 训练 4K,使用 128K
  1. 回扣 C2 直接外推、PI、NTK、YaRN 2023
    解决了推理时把新位置折算回训练见过的角度范围。
    卡在零样本外推有代价,方法的超参数带着它被调出来时的规模(C2 第 5 课与项目实测)。
  2. 朴素 从头就用长序列训 最直接的想法
    解决了训练与使用同一个长度,不需要任何折算。
    卡在注意力项随长度涨:Qwen3-32B(64 层全注意力)在 131,072 时注意力项是 6N 的 215%;早期长序列还带来梯度方差极端值(Li 2021)。
  3. 现代做法 先短后长 + ABF BERT → Llama 3 → DeepSeek-V3 · Qwen3
    解决了DeepSeek-V3 的 14.8T token 全在 4K,之后两段各 1,000 步扩到 32K、128K,只占全部训练 token 的 0.84%;Llama 3 405B 六段、约 800B token。
    卡在长序列阶段的数据要专门配(长度上采样、领域均衡、合成跨全文任务)。
  4. 2026 分歧 课程在缩短 Kimi K3 · DeepSeek-V4.1
    解决了K3:8K → 64K → 256K → 1M(NoPE 也照走课程);V4.1 注意力从头就是压缩稀疏的,直接从 64K 起训。
    卡在各家配方大多只公开阶段、不公开每段 token 数,无法横向比较成本。
  5. 岔路 多 token 预测 MTP Stern 2018 → Gloeckle 2024 → DeepSeek-V3
    解决了每个位置多学一个更远的目标;推理时当草稿,接受率 α 时每步期望产出 1 + α 个 token。
    卡在DeepSeek-V3 第 2 个 token 接受率 85%–90%,实测 1.8 倍 TPS;V4.1 预训练干脆去掉 MTP,没有公开消融。
数字口径:锚点、Qwen3.8-2.4T、Qwen3-32B、DeepSeek 各代的数字由 anchor-model.json / frontier-models.json(DeepSeek-V3.2、V4-Flash 取本章补充 config)在构建时现算;KV 字节按 FlashMLA 官方 README 的缓存格式计(indexer key 为推算,见第 5 课);FLOPs 只数矩阵乘,乘加记 2。Switch α、DeepSeek-V3 的 γ 与长上下文两段、K3 的 g_min 与长度课程出自各自原文(本地 PDF 已核);MiniMax 的理由出自其官方博客(2025-10-29)。

证据三问

问本课的回答
① 它解决什么问题?同样的参数与计算,让每个 token 能挑出更细、更多样的专家组合;把公共知识从路由专家里剥出来
② 数学上为什么可能有效?切细后组合数从 C(16, 2) = 120 变成 C(64, 8) = 4,426,165,368,参数与计算按构造不变 ;「更多组合 → 更专精」是理论动机
③ 实验上为什么最后选了它?DeepSeekMoE 16B 以约 40% 的计算追平 LLaMA2 7B;2026 年前沿几乎都是几百个细专家。共享专家有无,Qwen3 与 DeepSeek 选择相反

一句话

📌

专家切细,同样的参数和计算能拼出多得多的组合,共享专家兜住公共部分——但这是实验选择,Qwen3 一个共享专家都不设。

🚦

先停在这里:MoE 这条线到此讲完:两本账、负载均衡、专家粒度。
再深一层:在表里比较 K3 与 Qwen3.8-2.4T 的「专家中间维 ÷ 输入维」,想想 LatentMoE 为什么要先降维再分发;再去 C10 岔路 2 看 all-to-all 的通信量由什么决定(每个 token 发往 k 个专家、跨几个节点),想一想:专家数翻倍而 k 不变时,它会不会变?

下一个缺口

FFN 这边「多参数不多算」有了;注意力那边,长文本的 KV 还能再压吗? → 第 4 课:长文本的 KV 还能再压吗?

这一问也是一个延迟兑现:锚点 Qwen3.8 的 64 层里,从 C2 起一直只讲那 16 层全注意力。另外 48 层是什么(C0 岔路只点过名)、怎么更新,下一课揭晓。

你可能会问