C15 前沿解剖:2026 开源模型各自改了什么、为什么 章导读
前沿解剖:2026 开源模型各自改了什么、为什么
全课的毕业考。不教新组件,而是拿前面各章的工具——C3 的 KV 账、C4 的参数账本、C5 的 Muon、C8 的截断与残差、C9 的 FP4、C11 的 MoE 与线性 / 稀疏注意力——去拆 2026 年 8–9 月的四家开源前沿:Qwen3.8、GLM-5.3、DeepSeek-V4.1、Kimi K3。每一处设计都标出它回扣哪一章,并分清「真新东西」与「只是放大」。
主线定位
「小明把苹果给了小王」经过 C1–C14,每一环你都拆过:Qwen3.8 的真 tokenizer 把它切成 5 个 token,进入锚点 Qwen3.8-27B 的 64 层,每个 token 在全局注意力层留下 65,536 B 的 KV。这一章把同一句话送进另外几个模型——在 DeepSeek-V4.1-Flash 里,每个 token 只留 890 B。差这么多,差在哪里、为什么,就是这一章。
累计数据流 · 从文字到下一个 token 的概率 已学本课新增还没学
解码层
点任一已学环节,看这一步的输入 → 输出形状、参数量,以及它解决了什么问题(数字取自 Qwen/Qwen3.8-27B 真实 config)。
🧭
上游 · C1–C14 全部:这一章不教新组件,只拿前面的工具回看前沿模型——C1 的词表与 embedding、C2 的 RoPE 与 NoPE、C3 的 KV 账(第 8–10 课)、C4 的参数账本与残差、门控、C5 的 Muon 与 batch、C6 的超参缩放律、C8 的截断与稳定性、C9 的 FP8 / FP4、C11 的 MoE 与线性 / 稀疏注意力、C12 的后训练、C13 的推理。每一处前沿设计都标着它回扣哪一章。
本章(C15):2026 年 8–9 月的四家开源前沿——Qwen3.8、GLM-5.3、DeepSeek-V4.1、Kimi K3——各自改了什么、为什么;以及放在一起,趋同了什么、分歧在哪。
下游:没有下一章。下一份前沿报告发布时,你用这一章的方法自己拆一遍;后训练之后「从答题到做事」的故事在编码 Agent 课接着讲。
📌
这一章的实验对象换了。模型本身跑不动,实验台是它们的官方 config(12 个模型,数据文件 frontier-models.json,每个值都由脚本从 Hugging Face 的 config.json 读出)与技术报告。config 能逐字段核验,组件在你的浏览器里现算,并与数据文件的核对值比对(✓);报告里的数字一律标出是谁测的:① 第三方独立 ② 自跑但披露了偏差 ③ 纯自报。官方没披露的写「未公开」,调研没覆盖的写「未核实」。两条事实红线:「DeepSeek 4.2」不存在(最新是 V4.1-Flash,2026-09-10);Jev 这类闭源模型的架构细节全部是第三方推测,只以推测引用。
本章问题链
每一课只回答一个问题;上一课的失败,逼出下一课的问题。
| 课 | 这一课的问题 | 朴素读法在哪个真数字上失败 | 一句话 |
|---|---|---|---|
| 第 1 课 | Qwen3.8 到底改了什么? | 「版本号涨了 = 架构变了」:Qwen3.8-27B 与 3.5、3.6 的 config 0 个字段不同 | 版本号不等于架构:先 diff config,再给每个改动找消融 |
| 第 2 课 | config 一个字段都没改,GLM-5.3 的提升从哪来? | 「更强 = 架构更好或参数更多」:5.3 与 5.2 都是 753,329,940,480 个参数 | config 一个字段不改也能变强;参数总数的差值能反查架构删了什么 |
| 岔路 | 开放权重能商用吗? | 「能下载 = 开源 = 随便商用」:7 个型号 6 种许可证,没有一家公开训练数据 | 许可证按型号、按版本读原文 |
| 第 3 课 | 不用线性注意力,DeepSeek-V4.1 怎么把 KV 压到 890 字节? | 「只减 KV 头」:67B 的 GQA-8 在 1M 时一条序列 380 GiB | 在条目、层、序列、精度四个维度同时下刀,代价是承认近似 |
| 第 4 课 | 2.8T 参数的 Kimi K3,哪些是真新东西? | 「专家数暴涨 = 稀疏度暴涨」:384 → 896 是 +133%,稀疏度 48 → 56 只有 +16.7% | 先分「新 / 放大 / 不变」,再追每个新东西的出处 |
| 岔路 | 怎么读一份前沿技术报告? | 「把报告的数字抄下来」:「KV 小 4.44 倍」用 config 复算是 4.59 或 7.96 | 先核能核的 config,再给每个数字标来源、口径和可信度 |
| 实验课 | 12 个模型的 config 并排,趋同了什么、分歧在哪? | — | 趋同的是「哪里要省」,分歧的是「怎么省」 |
演进地图
2026 前沿演进图:四条泳道,谁先提出、谁借来、卡在哪个数 QwenGLMDeepSeekKimi
时间
Qwen阿里
GLM智谱 Z.ai
DeepSeek深度求索
Kimi月之暗面
2024-05 — 2025-06
2025-07 — 2025-12
2026-01 — 2026-06
2026-07 — 2026-09
Qwen 2025-04 Qwen3
引入GQA、SwiGLU、RoPE(θ = 1,000,000)、RMSNorm,加 QK-Norm 并去掉 QKV bias;36T token、原生 32,768 上下文。这正是 C1–C9 一路搭起来的那套配方。
借来GQA(Google 2023)、SwiGLU(Shazeer 2020)、RoPE(苏剑林 2021)、QK-Norm(Henry 2020)——没有一项是 Qwen 首创。
卡在每一层都是全注意力:Qwen3-32B 每 token 的 KV 是 256 KiB(64 层 × 2 × 8 头 × 128 × 2 B),1M 上下文时一条序列 256 GiB。
Qwen 2025-09 Qwen3-Next 80B-A3B
引入每 4 层里 3 层 Gated DeltaNet(线性注意力,固定状态)+ 1 层带输出门的全注意力;512 个专家选 10 + 1 个共享;zero-centered RMSNorm;MTP;RoPE θ 升到 107、只转 25% 的维度。Gated Attention(SDPA 输出后乘 sigmoid 门)是 Qwen 自己的研究(arXiv 2505.06708)。
借来Gated DeltaNet 出自 NVIDIA / MIT(arXiv 2412.06464);混合的思路更早见于 Jamba、MiniMax-01;细粒度 MoE 出自 DeepSeekMoE;MTP 出自 Gloeckle 2024。
卡在全局层仍是全注意力、KV 仍随长度线性长:同一架构的 Qwen3.8-27B 每 token 64 KiB,1M 时 64 GiB,只是 Qwen3-32B 的 1/4。
回扣C4 块结构 · C11 MoE 与长上下文
Qwen 2026-02 Qwen3.5
引入把 Next 架构推广到 0.8B–397B 全系;原生多模态(早期融合);新词表 248,320;交错式 M-RoPE。
借来M-RoPE 是 Qwen2-VL 起的自家做法;其余沿用 Qwen3-Next。
卡在之后的 3.6、3.8 两代,27B 的 config 与 3.5 逐字段相同——架构在这里停住了三代。
引入27B:config 与 3.5 逐字段相同,提升全来自训练。2.4T-A95B:同一架构放大(92 层、hidden 8,192、23 层全注意力),每 token 92 KiB。Flash-Next(qwen4_exp)才是新架构:QSA 稀疏注意力、4 条流的 Gated Residual、51.2B 的 n-gram 查表、Muon,每 token 24,576 + 768 B(KV + 压缩索引 key)。
借来QSA 的「压缩索引 key 再选块」在 NSA(2025-02)与 DeepSeek-V4 的 CSA(2026-04)里已有;Gated Residual 属于 HC / mHC 家族;n-gram 查表与 DeepSeek 的 Engram 同源。
卡在27B 与 2.4T 的训练配方、Flash-Next 的后训练都没有公开;Flash-Next 的消融只在 25B-A3B / 35B-A3B 规模上做过(官方自报)。
回扣C4 块结构 · C5 优化 · C6 规模 · C11 MoE 与长上下文
GLM 2025-07 GLM-4.5
引入355B-A32B、92 层;GQA 用 96 个头(头多 loss 不降,推理类基准却上升);Muon;MTP;sigmoid 路由 + 无辅助损失均衡。
借来无辅助损失均衡出自 DeepSeek-V3;Muon 出自 Keller Jordan 与 Moonlight。
卡在GQA 的 KV 随长度线性增长,上下文只到 128K(后来 4.6 扩到 202,752)。
回扣C5 优化 · C11 MoE 与长上下文
GLM 2026-02 GLM-5
引入744B-A40B,28.5T token;Muon Split(按头拆开再正交化,让 MLA 追平 GQA-8)与 MLA-256(头维 192 → 256、头数减 1/3,降低 decode 计算)是 GLM 自己的改动。
借来MLA 出自 DeepSeek-V2;DSA 出自 DeepSeek-V3.2——GLM-5 报告自己用的词是「adopts」。
卡在DSA 的索引器每一层都要给全部 token 打分;上下文仍是 202,752。
回扣C3 注意力 · C5 优化 · C11 MoE 与长上下文
GLM 2026-06 GLM-5.2
引入IndexShare:每 4 层只算一次索引(21 个 full 层 + 57 个 shared 层)。参数账可以反查:GLM-5 / 5.1 与 5.2 的 HF 计数差 534,198,528 = 57 × 9,371,904(一个索引器,由 config 现算)——shared 层的索引器权重是直接删掉的。θ 从 106 改到 8×106,上下文到 1,048,576。
借来IndexShare 的方法是 Z.ai 与清华自己的 IndexCache(arXiv 2603.12201)。
卡在被共享的是「选哪些 token」的决定——后 3 层用的是别的层挑的 token;官方没报这项的质量代价。
回扣C4 块结构 · C11 MoE 与长上下文
引入GLM-5.3 的 config 与 5.2 逐字段相同,参数 753,329,940,480 一个不差,提升全部来自后训练。5.3-Flash 换了底座:34 层 KDA + 11 层 DSA-MLA(不用位置编码)+ 4 条流的 mHC + IndexPool + SwiGLU 截断 10;每 token KV 从 89,856 + 5,376 B 降到 11,264 + 704 B。
借来KDA 与衰减下界 −5 来自 Kimi Linear / K3(config 字段同构);mHC、MLA、DSA 来自 DeepSeek;SwiGLU 截断来自 gpt-oss。
卡在5.3-Flash 没有技术报告;博客说「KV 小 4.44 倍」,用 config 复算是每层平均 4.59 倍、每 token 7.96 倍,对不上。
回扣C3 注意力 · C4 块结构 · C11 MoE 与长上下文 · C12 后训练
DeepSeek 2024-05 DeepSeek-V2
引入MLA:不存 K、V,只存一个 512 维潜向量 + 64 维 RoPE 分量;每 token KV 从 67B(GQA-8)的 389,120 B 降到 69,120 B(60 层)。细粒度专家 + 共享专家。
借来MQA / GQA 的「减 KV 头」是它要超越的起点(C3 第 9 课)。
卡在每 token 的注意力计算仍然要读全部历史:计算随长度 O(L²)。
回扣C3 注意力 · C11 MoE 与长上下文
DeepSeek 2024-12 DeepSeek-V3
引入671B-A37B,61 层 MLA(每 token 70,272 B);无辅助损失的偏置均衡;MTP;FP8 训练。
借来MTP 的思想更早见于 Stern 2018、ProphetNet、Gloeckle 2024。
卡在原生 4,096;YaRN 加两段续训到 128K(C11 第 6 课;config 上限 4,096 × 40 = 163,840);长上下文的计算仍是 L²。
DeepSeek 2025-09 DeepSeek-V3.2-Exp
引入DSA:一个轻量的「闪电索引器」给历史 token 打分,每个 query 只读 top-k 个。
借来「压缩 + 选择 + 滑窗」三分支结构 DeepSeek 自己在 NSA(2025-02)里提出过。
卡在稀疏只省计算、不省存储:KV 仍要全量存;索引器自己仍要扫全序列(O(L²))。
DeepSeek 2025-12 mHC 论文
引入把残差流加宽成 n 条,残差映射约束在双随机矩阵上(Sinkhorn 投影),谱范数 ≤ 1、乘法封闭,深层堆叠不会放大。
借来Hyper-Connections(字节 Seed,arXiv 2409.19606)——原版不约束,堆深了数值不稳。
卡在n 条流意味着更多激活访存与流水线通信;V4 报告说优化后 mHC 占重叠 1F1B 流水线阶段的 6.7% 墙钟时间。
DeepSeek 2026-04 DeepSeek-V4(Preview)
引入CSA(每 4 个 token 压 1 条再选 top-k)与 HCA(每 128 个压 1 条、全读)交错,每层另有 128 的滑窗;K = V 共享的 MQA;mHC;Muon(混合 Newton-Schulz);专家 FP4;1M = 65,536 × YaRN 16。
借来NSA(自家)、mHC(自家)、Muon(Jordan / Moonlight)、SwiGLU 截断(gpt-oss)。
卡在官方后来的判断:计算降下来之后,瓶颈转到 HBM / SSD 的容量与搬运带宽(V4.1 报告 §1)。
回扣C5 优化 · C9 精度与显存 · C11 MoE 与长上下文
引入CED(下 20 层 encoder、上 20 层 decoder,decoder 的全局 KV 由中间层投影)+ CSA2(Full / Reindex / Reuse 跨层复用)+ FP4 KV:全局 KV 890 B / token(由 config 与格式常数逐字节复算,与官方一致);Engram 查表 196.6B 参数;DSpark 取代 MTP。「DeepSeek 4.2」并不存在。
借来CED 受 YOCO(微软 2024-05)启发;跨层复用见 CLA、IndexCache(GLM);分层索引器见 HISA。
卡在代价是承认近似:decoder 的滑窗 KV 只回放最近 128 个 token(Bounded Replay),报告明说「数学上不等价」。
回扣C3 注意力 · C9 精度与显存 · C11 MoE 与长上下文 · C13 推理
Kimi 2025-07 Kimi K2
引入1.04T / 32.6B,61 层 MLA;优化器 Muon + QK-Clip(MuonClip)。
借来MLA 与 MoE 结构沿用 DeepSeek-V3。
卡在原版 Muon 下注意力 max logit 超过 1,000,才加了 QK-Clip(C8)。
Kimi 2025-10 Kimi Linear 48B-A3B
引入KDA:Gated DeltaNet 的遗忘门从每头一个标量改成每个通道一个;KDA : MLA = 3 : 1;全局层不用位置编码(NoPE)。
借来delta rule(Schlag 2021)、Gated DeltaNet(NVIDIA / MIT)。同期反例:MiniMax M1 用线性混合,M2 又退回全注意力(列了 4 条理由)。
卡在48B 的研究规模;衰减无下界,分块计算里的倒数会溢出,对角块只能走慢路径。
引入69 层 KDA + 24 层 Gated MLA(NoPE),每 token KV 27,648 B,另有与长度无关的固定状态 108,527,616 个元素;衰减下界 −5(算子全走 Tensor Core);AttnRes、SiTU-GLU、Quantile Balancing 是 K3 自己的;896 选 16,稀疏度 56。
借来KDA / NoPE / 混合栈出自自家 Kimi Linear;LatentMoE 是报告引用的前人工作;按头 Muon 晚于 GLM-5 的 Muon Split。
卡在架构能用 config 逐项核验,训练侧(预训练配方、RL、基础设施)只有报告自述;「2.5 倍 scaling 效率」来自内部训练曲线,第三方无法复现。
回扣C2 位置 · C4 块结构 · C9 精度与显存 · C11 MoE 与长上下文
数字口径:KV 字节、固定状态、稀疏度、GLM 的参数差值都由 frontier-models.json / anchor-model.json 的官方 config 在构建时现算,并与数据文件的 _meta.checks 逐项核对(对不上就构建失败);V4.1 的 890 B 另用了两个格式常数(FP4 条目 288 B、索引 key 68 B,见 R3 §1.5e)。其余文字出自各家技术报告与模型卡,归属判断见 R2 §0.1、R3 §1.7。
三层交互
| 层 | 本章里的组件 | 在哪一课 |
|---|---|---|
| 概念动画 | 演进图(四条泳道,逐节点展开);V4.1 的 prefill 逐层播放;KV「一刀一刀」逐步揭晓 | 章首页、第 3 课 |
| 算法模拟器(真算法、小数据) | Sinkhorn 投影 vs 不约束的 Hyper-Connections(连乘谱范数);Quantile Balancing vs 固定步长偏置(8 个 token 与 4,096 个 token 两种规模);SwiGLU / 硬截断 / SiTU-GLU 的函数与导数;AttnRes 的跨层 softmax;新旧分离与证据分层的「先预测再揭示」 | 第 1–4 课、两条岔路 |
| 真模型 / 真数据 | 12 个模型的官方 config 现算:KV 的四刀分解、1K–1M 的 KV 曲线与读取量、N 列对照(共识 / 分歧 / 未核实 / 未公开);参数账反查(IndexShare 删掉 534,198,528 个参数、Engram 196.6B、K3 路由专家占 97.9%);三份技术报告的消融与自报数字;我们项目模型的参数与 KV 对账 | 第 1–4 课与实验课 |
项目推进:给我们的模型写一页「技术报告」
04-实践项目/MILESTONES.md 写明「C15 前沿解剖不需要项目实验」:这一章的里程碑不训练,只用本章的方法读我们自己的模型。分工照旧:代码 AI 来写,决策你来做。
🧭
你要拍板的三件事
- 给我们的 3.7M 模型写一页 config 解剖:参数账、KV 账,每一项写出公式、代入的字段、回扣哪一章(实验课最右一列是现成的骨架)。
- 对照锚点 Qwen3.8-27B 做一张新旧分离表:我们用了哪些 2026 年的做法(RoPE、Pre-Norm + RMSNorm、SwiGLU),没用哪些(GQA、QK-Norm、输出门、混合注意力、MoE、Muon),各自为什么。
- 如果只给项目加一个 2026 年的部件,加哪一个?写清它的证据等级、代价,以及它在「3.7M 参数、训练长度 256」这个规模上有没有意义。
验收标准(全部可测):
- 参数按公式现算 = 导出的实测值:4 层 × 791,040 + embedding 2048 × 256(与输出头共享)+ 末层 norm 256 = 3,688,704;
c09-precision.json记录的实测是 3,688,704 ✓(SwiGLU 中间维 688 按 MILESTONES 的约定取 8d/3 向上到 16 的倍数)。 - KV 按公式现算 = 导出的实测值:2 × 4 层 × 8 个 KV 头 × 32 维 × 4 B(FP32)= 8,192 B / token;
c3-attention.json的 kv_heads_ablation 记录 8,192 B ✓。 - 新旧分离表的每一行都有「回扣章」和证据等级;查不到的格子写「未核实」,官方没说的写「未公开」,不填推测值。
- 决策 3 的候选必须引用本章的一条报告数字,并写明那条数字的规模、设置与可信度层(例如「Qwen 的残差消融:25B-A3B、560B token、官方自报」)。
坑与带走
| 坑 | 症状 | 后果 | 怎么办 |
|---|---|---|---|
| 以为版本号涨了架构就变了 | 找不到 Qwen3.8-27B「新架构」的细节 | 把训练带来的提升归因到架构 | 先 diff config:27B 与 3.5 相同,新架构在 Flash-Next(第 1 课) |
| 以为预训练 loss 一样,两个设计就一样好 | 小实验里看不出差别就选省事的 | 后训练后才出问题 | Qwen 的 NoPE 与「只读 2 条流」两条反例(第 1 课) |
| 把一组同时改了两样的对比归功于其中一个 | 「Muon 让尖峰归零」 | 错误的归因 | 183 → 0 同时换了优化器与残差;找单变量对照(第 1 课、岔路 B2) |
| 以为更强一定是架构更好 | 在 GLM-5.3 的 config 里找改动 | 忽略后训练 | 5.3 与 5.2 参数一个不差,提升来自后训练(第 2 课) |
| 说「GLM 提出了 DSA」 | 归属错误,找不到方法原文 | 引用出错 | DSA 是 DeepSeek-V3.2 的,MLA 是 DeepSeek-V2 的;GLM 的是 IndexShare(第 2 课) |
| 以为 753B 与 744B 总有一个写错 | 参数对不上 | 误判资料可信度 | HF 张量计数 vs 报告架构口径,两个都对(第 2 课) |
| 以为 GLM-5 系列都支持 1M | 选型翻车 | 上下文不够 | 只有 5.2 起是 1,048,576;GLM-5 / 5.1 是 202,752(第 2 课) |
| 拿 GLM-5 的报告解释 5.2 / 5.3 | 讲的是另一个模型 | 张冠李戴 | GLM-5 报告里没有 IndexShare,也没有 1M(第 2 课) |
| 把官方倍数当 config 算得出的数 | 「KV 小 4.44 倍」 | 显存估错近一倍 | 按常见口径复算,对不上就写「复现不出」(第 2 课) |
| 信 NVIDIA NIM 把 DSA 解释成 Dense-Sparse-Alternating | 概念跑偏 | 理解错机制 | DSA = DeepSeek Sparse Attention(第 2 课) |
| 以为开放权重 = 开源 = 能随便商用 | 商用踩法务坑 | 违约 | 按型号、按版本读 LICENSE 原文;都是 open-weight(岔路 B1) |
| 把 K3 的许可证当成 Modified MIT | 二次转述的高频错误 | 漏掉营收与署名条款 | 那是 K2 的;K3 是 license_name: kimi-k3(岔路 B1) |
| 以为「DeepSeek 4.2」存在 | 引用一个不存在的版本 | 结论无从核对 | 最新是 V4.1-Flash(2026-09-10)(第 3 课) |
| 以为 890 B 是全部 KV | 估显存偏小 | 部署翻车 | 只算全局 KV;BF16 口径 3,200 B,另有每序列约 2.7 MB 滑窗常数(第 3 课) |
| 以为稀疏注意力省了显存 | 长上下文显存照样爆 | 选型失误 | top-k 只省计算;省显存靠条目、层、序列、精度(第 3 课、实验课) |
| 把「763B」当 V4.1 的参数量 | 规模口径混乱 | 比较失真 | 552B 骨干 + 196.6B Engram + 草稿层的 HF 合计(第 3 课) |
| 以为 V4 / V4.1 的 1M 是原生 RoPE 外推 | 高估长上下文可靠性 | 选型失误 | 65,536 × YaRN 16 = 1,048,576,是插值扩展(V4 与 V4.1 的 config 相同;C2 第 5 课、实验课) |
| DeepSeek 的两套术语对不上 | 搜 CSA 搜不到、搜 DSA 也搜不到 | 理解混乱 | API 新闻页与论文用词不同,以论文与 config 为准(第 3 课) |
| 以为 K3 发明了 KDA / NoPE | 归属错误,找不到方法原文 | 读错论文 | 来自 Kimi Linear(2025-10)(第 4 课) |
| 把 48B / 3B 当成 K3 | 差约 58 倍 | 规模判断全错 | 那是 Kimi Linear 的研究规模模型(第 4 课) |
| 把「专家数暴涨」当「稀疏度暴涨」 | 高估稀疏化程度 | 误读设计意图 | 稀疏度 48 → 56 只有 +16.7%(第 4 课) |
| 把 NoPE 理解成不用长上下文训练 | 严重误解 | 训练配方缺一段 | 省的只是改位置编码这一步,四段课程照走(第 4 课) |
| 以为 SiTU-GLU 是为 MXFP4 权重服务 | 归因错 | 误读低精度的约束 | 报告说的是低精度算术下的溢出风险,激活是 MXFP8(第 4 课) |
| 以为 Quantile Balancing 一步就把负载拉平 | 把示意图的特例当成保证 | 高估算法 | 每步更新,玩具规模停在 (3,2,2,1);大批次才接近均衡(第 4 课) |
| 以为大模型都用 AdamW | 记错事实 | 读不懂优化器一节 | K2 / K3、GLM、DeepSeek-V4、Flash-Next 都用 Muon + AdamW 分工(C5 第 7 课) |
| 拿共用超参比较两种方法 | 得出偏袒性结论 | 错误决策 | K3 为 cosine 与 WSD 各做独立搜索(第 4 课、岔路 B2) |
| 把官方自测当客观排名、只看分数不看成本 | 高估模型、忽略性价比 | 选型失误 | 分三层读评测;看分数 ÷ 成本的帕累托前沿(岔路 B2、C14) |
| 把「窗口 1M」当「有效 1M」 | 长文检索翻车 | 高估能力 | 窗口看 config,有效长度看 MRCR / RULER(C2 第 5 课、岔路 B2) |
| 为了表格好看把空格填上 | 写出没有证据的断言 | 误导读者 | 「未核实」「未公开」「没有」是三件事(岔路 B2) |
| 把 Jev 的第三方推测当架构事实 | 引用站不住 | 可信度受损 | 官方自报 / 第三方观察 / 第三方推测分三层(岔路 B2) |
这一章你应该带走的(各课「一句话」):
- 版本号不等于架构:先 diff config,再给每个改动找消融。
- config 一个字段不改也能变强;参数总数的差值,能反查架构到底删了什么。
- 许可证按型号、按版本读原文:能下载权重,不等于能随便商用。
- 不换线性注意力也能把 KV 压到极限:在条目、层、序列、精度四个维度同时下刀,代价是承认近似。
- 先分「新 / 放大 / 不变」,再追每个新东西的出处:K3 对领域真正原创的只有几项。
- 先核能核的 config,再给每个数字标来源、口径和可信度;不知道就写「未核实」。
- 趋同的是「哪里要省」,分歧的是「怎么省」;表里每一格都要说得出来自 config、报告还是推测。
概念索引:本章正文讲到——QSA、Gated Residual、n-gram embedding、IndexShare(参数账)、IndexPool、MLA-256、Muon Split、CED、CSA2(Full / Reindex / Reuse)、分层索引器、FP4 KV(E2M1 + E4M3 scale)、mHC 与 Sinkhorn、Single-Pass mHC、Engram、DSpark、KDA 与衰减下界、NoPE、AttnRes、LatentMoE、SiTU-GLU、SwiGLU 截断、Quantile Balancing、Per-Head Muon、MXFP4 QAT、MOPD、partial rollout、推理力度 RL、Agentic 生成式奖励模型、open-weight、三层可信度。机制在别章:Gated DeltaNet 与 KDA 的机制、分块并行的结论、DSA 的打分(C11;分块并行的推导见 Songlin Yang《DeltaNet Explained (Part II)》);MLA 的吸收技巧(C3 第 10 课);Muon 与 Newton-Schulz(C5 第 7 课);QK-Norm 与 QK-Clip(C8);块缩放的 FP8 / FP4(C9);GRPO、on-policy 蒸馏(C12);投机解码(C13);评测污染与非公开基准(C14)。
提问记录:这一章还没有真实提问。学习中有疑问,记到 05-问答记录/C15-L<课号>.md(岔路课是 C15-B1.md、C15-B2.md);有价值的问题会展开成新的岔路课。
深入这一章
每条都在 2026-09-26 用 curl 打开核对过(B 站视频用官方接口核对了标题与时长;z.ai 博客是前端渲染页,核对到了页面与内容包):写清它讲清了什么、对应哪一课、为什么推荐。本地 PDF 的直接打开;其余都「需联网」。
🎮 想更直观 10–30 分钟
先玩本章的组件;下面是外部最好的几个入口
逐个组件拆 K3:把 KDA、LatentMoE 归为效率替换,把 AttnRes 单独点名为改善验证 loss 的真创新,把全层 NoPE 评为在前沿规模上相对前所未有。
对应第 4 课的新旧分离:一个独立作者给出的划分,和本章 NewOldSort 的第二级可以对照着看。
K3 的 MLA、KDA、AttnRes、LatentMoE 每一步的张量形状;其中「论文口径 576 / token、参考实现存展开后的 30,720 / token」这个口径差只有读代码才看得到。
对应第 4 课与读报告岔路课的口径陷阱表;本平台的 TensorFormula 只借了它的思路,没用代码。
config 是最诚实的架构文档,而且你可以自己打开核对。对应本章每一课的第一步「先 diff config」。
从推理引擎看混合栈:每个请求同时持有固定大小的 KDA 状态与逐 token 的 MLA KV,调度与显存模型都要改。
对应第 4 课与实验课的「固定状态 + 少量全局层」:论文不写的工程约束。
🔬 想吃透原理 1–3 小时
唯一必看:Qwen3.8-Flash-Next 技术报告。其余按课挑
逐个部件给出消融:混合方式、QSA、Gated Residual 与 mHC、n-gram 表放在哪、超参缩放律、取消 batch warmup、4 倍学习率压力测试;还写了 NoPE 与「只读 2 条流」在后训练后出问题的反例。
这一代唯一逐部件回答「为什么这样设计」的一手报告,对应第 1 课,也是全章证据三问的最好练习材料。读的时候每条都问:规模多大、换了几个变量、谁测的。本地论文库暂无 PDF。
按章节:93 层排布、KDA、MLA、LatentMoE、MoonViT、残差注意力,每个组件写成「输入形状 → 算子 → 输出形状」。
对应第 4 课。系列里收藏率最高的一集;配套张量图就是上一档的 kimi-k3-tensor。内容按章节标题与公开图示核对,没有逐段转写。
门控注意力、Gated MLA、KDA 的门控分支、MoE 里的 SiTU-GLU 与 SwiGLU。
对应第 4 课的 SiTU-GLU 与 C4 第 4 课的门控:把「门」作为贯穿 FFN、注意力输出与线性注意力的统一概念。按章节标题推荐。
先回顾经典 encoder-decoder,再讲 V4.1 的 CED 与 KV cache,对照 YOCO。
对应第 3 课的 CED。视频早于 arXiv 版报告,配套 notebook 在私有仓库;概念与报告 §2.2 一致,推导细节未逐段核实。
5.3「同一个 base、只改后训练」的原话(5.3-Flash 的博客在这里),环境自动合成与 verifier 的三项检查;5.3-Flash 的混合架构与「KV 小 4.44 倍」「注意力计算少 3.01 倍」。
对应第 2 课:一份材料里同时有「后训练的规模化」和一个复现不出的口径——两件事都值得读。
从线性混合退回全注意力的 4 条理由:训练受访存限制、对低精度敏感、难兼容前缀缓存与投机解码、规模变大后多跳推理有缺陷。
对应第 4 课的「线性注意力三起两落」与实验课的分歧:反面经验和 K3 的工程回答放在一起读。
V4.1-Flash 开源、V4.1-Pro「将发布」,以及 deepseek-v4-pro 请求转发给 V4.1-Flash 的过渡安排。
对应第 3 课「DeepSeek 4.2 不存在」的一手核对渠道之一。
📄 想读原文 按需
有本地 PDF 的直接打开;其余链 arXiv 摘要页(本地论文库暂无)
§2 架构(KDA 与衰减下界、AttnRes、Stable LatentMoE、Per-Head Muon)、附录 B / C(SiTU-GLU 上界、QB 的对偶推导)、§4 后训练与 MOPD、§6 评测(第三方单列一节)。
第 4 课与读报告岔路课的出处。§3–§5 只有报告自述,读时当厂商技术自述看。
§2.2 mHC 的完整公式(Eq.1–8)、§2.3 CSA / HCA 与闪电索引器、§4.2.3 两个稳定性手段(官方承认缺少理论解释)。摘要自称 preview version。
第 3 课的 mHC 与 CSA 两个公式解剖出自这里。
CED、CSA2 与分层索引器、FP4 KV 与 890 B、Single-Pass mHC、Engram、DSpark;§5 后训练「没有算法创新」;§6 自陈局限。
第 3 课的主要出处。
§2.1 表 1:GQA-8、MLA、MLA + Muon Split、MLA-256 的七项对照;采用 DSA 的动机与续训配方。全文没有 IndexShare,也没有 1M。
第 2 课「为什么这样设计注意力」的唯一一手材料;先看清它讲的是 5 不是 5.3。
V2 的 MLA(本地 S6-03,即本条链接)与 V3 的无辅助损失均衡、MTP、FP8(本地 S6-04)。
本章反复出现的「借来的部件」大多追到这两份:MLA、aux-free 偏置、MTP。
KDA 的完整推导、KDA : MLA 混合比例的消融、NoPE 的论证;48B / 3B 研究规模。
第 4 课「对我新 ≠ 对领域新」的另一头。别把它的 48B / 3B 当成 K3。
Gated DeltaNet(arXiv 2412.06464,即本条链接)是 Qwen 混合架构里线性层的出处;Gated Attention(arXiv 2505.06708)是 Qwen 自己的输出门研究。
第 1 课的归属:GDN 不是 Qwen 发明的,Gated Attention 才是。
双随机约束为什么让深堆稳定(本条链接);原版 Hyper-Connections 见 arXiv 2409.19606。
第 3 课 Sinkhorn 模拟与 FormulaAnatomy 的理论出处。
DSA 的闪电索引器与 top-k(2512.02556,本条链接);跨层复用索引的 IndexCache(2603.12201,IndexShare 的方法);压缩 + 选择 + 滑窗三分支的 NSA(2502.11089)。
第 2、3 课的归属链:三家的稀疏注意力都汇到这几篇上。
YOCO(2405.05254,本条链接)是 CED 的灵感;Engram(2601.07372)提出条件记忆这条「新的稀疏轴」;DSpark(2607.05147)是取代 MTP 的草稿器。
第 3 课三个新部件的原文。
证明全局层不能全部换成线性层:为「混合」给出下界论证,但给不出最优比例。
第 1、4 课与实验课「3 : 1 是实验选的」这句话的理论一侧。
🚫
排除了什么(也是筛选标准):① 各类「K3 / V4.1 / GLM-5.3 深度解读」「全面解析」的二次转述——发布后一周内大量涌现,多数是报告摘要重排,已发现抄错参数与归属;② 任何把「48B / 3B」标成 K3 的资料(那是 Kimi Linear);③ 把 K3 许可证写成「Modified MIT」的转述(MarkTechPost 等);④ 百度百科的「DeepSeek-V4.1」词条——说支持音频输入,与官方模型卡冲突;⑤ NVIDIA NIM 的 GLM 文档页作为概念来源——把 DSA 解释成 Dense-Sparse-Alternating;⑥ 标题写「763B」的第三方快讯(latent.space AINews)作为参数来源——那是 HF 合计,不是骨干参数;⑦ 任何声称「DeepSeek 4.2」的资料;⑧ Hugging Face 合集页的参数徽章(V4-Flash 的 291B 是量化统计伪影);⑨ Jev 架构的第三方推测(archerhume.com)作为事实来源——只在读报告岔路课里当「黑盒推断」的方法案例;⑩ 旧版课程里两条没有通过对抗验证的 Artificial Analysis 说法;⑪ 旧版课程把「三份深度调研档案」链到 V4 PDF 的那一条——调研档案在案例库本地(案例库/从0训练LLM-现代大模型体系/00-调研/),不是站内页面,这里不再给链接。