怎么读一份前沿技术报告?
这是一堂岔路课。K3 那一课读的是一份 47 页的报告;本章四课一共读了四份材料,质量和可得性都不一样。把用过的方法收成一套,下一份报告发布时能自己用。
本课一问:怎么读一份前沿技术报告?
这一课先不碰:评测基准本身怎么设计、为什么会被污染(C14)。
先修正一个默认
「报告里写的就是事实」这个默认要拆成两半:
- 架构可以独立核验。config.json 能下载、张量形状能读、参数总数能对账(第 2 课用参数差值反查出 IndexShare 删了 57 层的索引器)。
- 训练只能读自述。预训练配方、数据、RL 方法、基础设施,在没有第三方复现之前都是厂商的技术自述。Kimi K3 的对抗验证档案给过一个很干净的结论:§2 架构能用 config 与权重体积逐项核验,§3–§5 训练与基础设施没有任何一条被第三方证实。
所以第一步永远从能核的那一半开始。
五步读法
① 先 diff config
打开 config,不看报告,自己先把「每 token KV 多少字节、固定状态多大、稀疏度多少、位置编码是什么」算出来。下面把数值盖住了,先算再揭晓:
GLM-5.3-Flash 只有博客、没有技术报告;但只靠 config,就能说出它是「34 层 KDA + 11 层 DSA-MLA、NoPE、4 条流的 mHC、SwiGLU 截断 10、288 选 8」,每 token KV 多少字节——这比很多二手解读准确。
② 新旧分离
把每一处变化分成「机制变了 / 数值变了 / 没变」,本章每一课都做过一次(NewOldSort)。判断力在于:K3 的 21 项变化里只有 8 项是机制变化,Flash-Next 的 15 项里 7 项;其余都是放大或不变。先把「只是放大」的行划掉,剩下的才值得花时间。
③ 追出处:对我新 ≠ 对领域新
对「机制变了」的每一行,再问一句「它是这家首创的吗」。本章的答案出奇地一致:大部分不是。前沿报告往往一段话带过方法细节,方法论原文在引用链上游——追一条链比泛读十篇解读有用:
| 部件 | 在本章谁那里出现 | 往上追 |
|---|---|---|
| KDA | K3、GLM-5.3-Flash | Kimi Linear(2025-10)→ Gated DeltaNet(NVIDIA / MIT,2024-12)→ DeltaNet 的 delta rule(Schlag 2021)→ 线性注意力 |
| DSA 与 MLA | GLM-5 / 5.3 | DeepSeek-V3.2(DSA,2025-09)→ DeepSeek-V2(MLA,2024-05) |
| mHC | DeepSeek-V4 / V4.1、GLM-5.3-Flash | mHC 论文(DeepSeek,2025-12)→ Hyper-Connections(字节 Seed,2024-09) |
| 压缩索引 key 再选 | DeepSeek-V4 CSA、Qwen QSA、GLM IndexPool | NSA(DeepSeek,2025-02);Qwen 报告没有引用 NSA 与 V4 |
| 按头拆开的 Muon | GLM-5、K3、Flash-Next、V4.1 | Keller Jordan 的 Muon 博客(2024)已建议 Q、K、V 分开正交化;三家互不引用 |
「首创」要有日期与出处;两家没有互相引用、时间又接近时,写「独立得出」而不是「谁抄谁」。
④ 分证据:机制三层 × 可信度三层
每一个结论标两次:它的机制属于哪一层(数学可证明 / 理论动机 / 实验,本课程每一课都用 EvidenceBadge 标的那三层),它的数字是谁测的:
| 层 | 含义 | 例子 |
|---|---|---|
| ① 第三方独立(或可独立核验) | 外部机构测、自己能复算 | AA 智能指数、各 Arena;config 算出来的 KV 字节 |
| ② 自跑但主动披露偏差 | 官方跑的,但写清了和标准设置的差别 | K3 的 SWE-Marathon 用 H20 重标定分支;V4.1 列了 8 种脚手架 |
| ③ 纯自报、结构上无法复现 | 内部训练过程或内部基准 | K3 的「2.5 倍 scaling 效率」;Kimi Code Bench(Internal) |
第 ② 层最值得学:多数发布要么不跑、要么跑了不说差异;主动自曝口径的密度,本身就是可信度的信号。先自己给 K3 报告的评测分层,再揭晓:
试三件事:① 把 13 条都标完再揭晓——最容易标错的是 CritPt:它在报告的表 2 里和自跑数字混排,只有读到评测设置那一段才知道它引自 Artificial Analysis;② 揭晓后按「③ 纯自报」筛选:这一层不是「假」,是「没人能检验」;③ 打开「网络安全」那一条:英国 AISI 与美国 CAISI 的联合评估和自测结论一致,也给出了 0 / 41 个任意代码执行的负面数字——报告自评「我们把评测视为能力的下界」。
另一个方法论细节值得单独记:K3 报告首页写着「所有 Fable 5 的结果可能带 fallback,所有 GPT-5.6 Sol 的结果可能带 cyberguard」——对手的分数也有口径,对比表的各列未必是同一条件下测的。评测数字怎么系统地分层,以及含非公开基准的独立评测(例如 CAISI 对 DeepSeek-V4 的评测)为什么能压过自报,是 C14 的岔路课。
⑤ 查口径、混杂变量与负面结果
同一个词可以是两个口径;同一组对比可能同时换了两样东西。下面是本章遇到的全部口径陷阱:
还有三个习惯:
- 看对比是不是各自调优过。K3 比较 cosine 与 WSD 时,为两种调度各做了一次独立的 scaling-law 搜索,并明说理由——看到任何「A 优于 B」,先问超参是共用的还是各自最优的。
- 看负面结果的密度。K3 写了研究级推理落后、top-k 蒸馏没有优势、内核利用四分之三没解出;V4.1 写了 Terminal-Bench 4.0 只有 31.2、Bounded Replay 是近似;Qwen 写了 NoPE 与「只读 2 条流」在后训练后出问题。愿意写负面结果的报告更可信。
- 看示意图和保证的区别。K3 报告图 5 画的是 Quantile Balancing 一步到 (2,2,2,2),可算法本身是逐步更新的规则(第 4 课用真算法跑过)。图是讲机制的,不是性能保证。
写对比表的纪律:「未核实」「未公开」「没有」是三件事
旧版课程的三家对照表里,GLM-5.2 那一列有 5 个格子标着「未核实」。这些格子后来怎么样了?
| 格子 | 旧版 | 现在 | 靠什么证据填上 |
|---|---|---|---|
| 残差 | 未核实 | 标准残差 | GLM-5.3(= 5.2 架构)的 config 没有任何超连接字段,transformers 实现是标准结构 |
| 优化器 | 未核实 | Muon + Muon Split | GLM-5 报告 §2.1;5.2 之后的续训仍未披露 |
| 位置编码 | 未核实(只知道索引器用交错式 RoPE) | RoPE θ = 8×10⁶,64 维,交错式 | config 的 rope_parameters 与 rope_interleave |
| 后训练 | 未核实(只有 GLM-5 的资料) | SAO + compaction、环境合成、OPD | 5.2 与 5.3 的官方博客 |
| 独立评测 | 未核实 | 有一条侧面数据 | K3 报告引用的英美联合评估里有 GLM-5.2 的对照:ExploitBench 24%、32 步模拟企业网络走到 11 步 |
当时没有证据,就标「未核实」;不因为「常规做法大概就是这样」而填上。如果当时把「残差」一格填成「常规残差」,结果碰巧对了,也仍然是一次没有证据的断言。反过来,本章的对照表里又出现了新的空格:Qwen3.8-27B 与 2.4T 的优化器、预训练 token 数官方没有公开,和「我们没查到」不是一回事,所以分成「未公开」与「未核实」两种标记(实验课的 FrontierConfig)。
🔍 调研本身也要能被检验:主动删掉的两个数字
写旧版课程时,有两条关于 Artificial Analysis 的说法没有通过三票对抗验证:「AA 给 V4-Pro 打 45 分、开放权重中位数 26」(1–2 票驳回)、「AA 把 DeepSeek 自报的 MMLU-Pro 标为未经验证」(0–3 票驳回)。它们看起来都挺好用,第一个还能给 V4 加分,但没通过验证就不进正文。
三句话定位一份报告
读完一份讲长上下文的报告,试着用三句话说清它:① 它在 KV 的哪几刀下手(条目、层、序列、精度);② 省掉的万一有用,兜底是什么;③ 收益是在哪个长度、哪个规模上测的,谁测的。
| 模型 | ① 哪几刀 | ② 兜底 | ③ 收益在哪测、谁测 |
|---|---|---|---|
| Qwen3.8-Flash-Next | 条目(GQA 24 : 2)+ 层(12 / 48) | 每 4 层 1 层 QSA 做全局检索 | 25B–35B 规模的消融、1M 时的内核速度;官方自报 |
| GLM-5.3 | 条目(MLA 潜向量) | KV 一条不丢,DSA 只是少读 | IndexShare 2.9×:1M、理论 FLOPs;官方自报 |
| DeepSeek-V4.1-Flash | 条目 + 层 + 序列 + 精度 | 每层 128 的滑窗管近处;Bounded Replay 近似重建 | 890 B 可复算;「影响可忽略」是官方实验 |
| Kimi K3 | 条目(MLA)+ 层(24 / 93) | 每 3 层 KDA 插 1 层 MLA,末层全局 | 2.5 倍效率是内部拟合;架构可由 config 核验 |
第二个案例:没有报告的模型,还能推断架构吗
TypeSafe AI 在 2026-09-15 以 early access 发布了闭源的 Jev,没有论文、没有技术报告。它把可信度三层演示得更极端:
| 层 | 内容 |
|---|---|
| 官方自报 | 不生成文本,所有输出并行给出;「新架构 + 并行采样器」;训练方法叫 RLCD;70–500 ms、同等智能快 40–200 倍、「不会幻觉」——全部没有独立评测 |
| 第三方实验观察 | Archer Hume 对 API 做了约 10,000 次调用:1 个问题计 268 个 token、2 个 276 个;把秘密放在另一个问题里读到的概率是 0.00,放进共享的 state 里升到 0.90–0.92;加入一个无关选项后,两个原选项的 log-odds 从 +0.38 变到 +0.11 |
| 第三方推测 | 共享前缀 KV + 树形注意力掩码、causal decoder、读出头的形态、稀疏 MoE——作者本人按确定性排了序,MoE 是最弱的一环;他也明说「分开调用」等其他机制能产生同样的行为 |
所以 Jev 的架构细节只能以「第三方推测」引用。能核实的一点来自官方代码:API 返回的 confidence 不是模型另外学出来的「答对概率」,而是 c = (pmax − 1/K) ÷ (1 − 1/K),只衡量最大概率离均匀分布多远。例如 K = 3 个选项、pmax = 0.8 时,c = 0.70。一个说出「90% 有把握」的数字,不等于它有 90% 的概率是对的。
材料可得性不对等
同一张对比表里,各列的材料深度可能差很多:
- 有技术报告:Kimi K3(47 页)、DeepSeek-V4.1、Qwen3.8-Flash-Next——能追到「为什么」。
- 只有旧版的报告 + 新版博客:GLM-5.3(GLM-5 报告里既没有 IndexShare,也没有 1M;5.2、5.3 只有博客)。
- 只有模型卡与 config:Qwen3.8-27B、2.4T;GLM-5.3-Flash 只有博客与 transformers 源码。
不要用材料多的那家的详细程度,去反推材料少的那家。另外,引用时带上版本与日期:DeepSeek-V4 的摘要自称 preview,之后的 0731 / 0813 只重做了后训练;「DeepSeek 4.2」这个版本根本不存在。
| 问 | 回答 |
|---|---|
| 报告里哪一部分最可信? | 能用 config 与权重独立核验的架构 证据等级 · 数学可证明 在写明的前提下可以严格推导出来,不依赖实验。只要前提成立,换数据、换规模仍然成立。 本条字段与计数可以自己复算。 出处待补 |
| 消融数字怎么用? | 带上规模、token 数、变了几个变量一起引用 证据等级 · 实验验证 由对比实验得出的经验结论,只在出处写明的模型、数据和规模下成立。换了条件可能不再成立,引用时要带上实验设置。 本条消融只在它的设置下成立。 出处待补 |
| 空格怎么填? | 有证据才填;没披露写「未公开」,没查到写「未核实」 |
一句话
先核能核的 config,再给每个数字标来源、口径和可信度;不知道就写「未核实」。
带走的能力:下一份前沿报告发布时(K4、DeepSeek-V5、GLM-6……),你能在半小时里分清「这是学过的东西的变体」和「这是需要补的新概念」,知道该追哪条引用链,并且把报告里的数字分到三层里去——这比记住 K3 的任何一个数字都值钱。
回到主线
回主线实验课:12 个模型的官方 config 放在一张表上,2026 年趋同了什么、分歧在哪? → 实验课