从0训练LLM · 现代大模型体系 岔路 阅读 + 实验 ≈ 30 分钟 页内实验 ×2
C14 评测与训练仪表:分数能信吗 岔路课

技术报告和榜单上的数字,各该信几分?

三层可信度:别人报告里的数字
别人报告里的数字,先分三层:第三方独立(最好含非公开题)、自跑但披露偏差、纯自报。Kimi K3 的报告是正面样本:第二层的数字特别多,因为它主动写出了哪些不是标准设置。DeepSeek-V4 是反面样本:自报约等于 Opus 4.6,NIST CAISI 用含非公开题的评测测出来,离 GPT-5.4 mini 更近。分完层再查口径——版本、脚手架、日期、基线;查不到的格子写「未核实」,不要填。
🔀

这是一堂岔路课,来自旧版课程 M7、M8 的「评测 · 怎么读这些数字」两节。第 2 课讲了自己测的时候分数为什么会不准;这一课讲读别人报告的时候怎么办——模型发布那天,你手里只有一份报告、几个榜单和一堆转述。

本课一问:技术报告和榜单上的数字,各该信几分?
这一课先不碰:报告里的架构与训练配方怎么读(C15 前沿解剖);许可证能不能商用(C15 的岔路)。

🔁

这一课为什么不用例句。这里读的是 2026 年几份真实的前沿技术报告与第三方评测,对象是一整份报告里的数字,不是一句话。

先修正一个说法:不是「官方 vs 第三方」,是三层

读模型发布材料,常见的切法是「官方自报」和「第三方」两类。更好用的是三层——多出来的中间一层,恰恰最有信息量:

层含义可信到什么程度
第一层 · 第三方独立外部机构自己测、自己发布;最好含非公开的题最高;但同样有口径(版本、脚手架、日期)
第二层 · 自跑但披露偏差厂商自己测,但写明了与标准设置的差异(换了硬件、改了题、换了脚手架)中;披露得越细,越可信——你至少知道该怎么复现
第三层 · 纯自报内部基准、内部训练 run 的拟合,或者只给分数不给配置最低——不是说它假,是说没人能检验

下面 20 条都是 2026 年 7–9 月报告与榜单里的真实说法。先按自己的判断点一层,再看理由:

分类练习 · 真实评测说法,先猜再揭晓
这个数字属于哪一层?先猜,再看理由20 条真实评测说法 · 2026-07 至 2026-09
🎯

试三件事:① 只看「Kimi K3」:7 条里第二层占了几条?这些条目都在报告里主动写明了自己用的不是标准设置——自曝差异的密度本身就是可信度的信号;② 找出同一份报告里「领先」和「落后」的两条(SWE-Marathon 与 PostTrainBench):肯写出落后的分数,也是信号;③ 点开第一层的几条,读「口径」一行:指数换版本、Elo 随投票漂移、第三方结果经厂商转述——第一层也不是免检。

K3 报告首页的对比表下面还有一行小字:所有 Claude Fable 5 的结果都「可能带 fallback」,所有 GPT-5.6 Sol 的结果都「可能带 cyberguards」;§6.1.3 又写明 SWE-Marathon 上 Fable 5 在 35% 的任务上走了 fallback 。对手的分数也有口径——一张对比表的几列,未必是在同一条件下测的。

报告 §6.3 的第三方表(截止 2026-07-23):Artificial Analysis 智能指数 v4.1 为 57.1(580 个模型中第 4)、Vals Index 74.7%(39 个中第 2)、WebDev Arena 1,678(99 个中第 1,首个登顶的开放权重模型)、Text Arena 1,486(200 个中第 8)、Agent Arena 9.1(37 个中第 4)。官方自测表里的亮点:BrowseComp 91.2%、GPQA Diamond 93.5%、SWE-Marathon 42.0、ProgramBench 77.8。按上面的分层读:第三方表属第一层;SWE-Marathon 写明了用的是 H20 重标定分支,属第二层;GPQA Diamond、ProgramBench 用的是公开基准、报告给了统一的采样设置,但没人复现过,在复现之前按第三层读;BrowseComp 的成本口径见分类练习。

报告自己承认的短板,比亮点更值得读:HLE-Full 上 43.5 / 56.0(不带 / 带工具),落后 Fable 5 与 GPT-5.6 Sol;CritPt 23.4,落后三个闭源对手;原文说研究级推理仍是有待改进的方向。

反面样本:同一个模型,自报与第三方差了一截

DeepSeek-V4 的报告对自己的定位其实相当坦率:推理略逊 GPT-5.4 与 Gemini-3.1-Pro,「落后前沿约 3–6 个月」;内部评测中 agent 能力超过 Claude Sonnet 4.5、接近 Opus 4.5 。

2026 年 4 月,美国 NIST 下属的 CAISI 独立评测了 V4 Pro,5 月 1 日发布:9 个基准、5 个领域,评测集事先定好、不按结果挑;其中 ARC-AGI-2 的 semi-private 题与 CAISI 自建的 PortBench 不公开。它的结论是:按 DeepSeek 自己的数据,V4 大约相当于两个月前发布的 Opus 4.6 与 GPT-5.4;按 CAISI 的评测,它更接近约 8 个月前发布的 GPT-5 。把题目分成公开和非公开两组,差距从哪来一目了然:

真实数据 · CAISI 的逐项分数(页面 Figure 2)
CAISI 对 DeepSeek-V4 Pro:公开题上几乎追平,非公开题上差一大截NIST CAISI · 2026-05-01

CAISI 把 9 个基准合成一个分数用的是项目反应理论(IRT)最简单的 1PL 形式:

IRT 1PL:把「模型」当考生、把「每道题」当考题
= σ( − )
👆 公式里带下划线的每一项都可以点——点哪项，讲哪项。
页面给出的换算是「每高 200 分,解题胜算 × 3」。V4 Pro 比 Opus 4.6 低 199 分 → Opus 的胜算是它的 3^(199÷200) = 2.98 倍;比 GPT-5.4 mini 高 51 分 → 胜算只多 1.32 倍。所以说它离 GPT-5.4 mini 比离 Opus 4.6 近得多。

为什么 CAISI 的结论能压过自报?关键是非公开题。公开基准的题和答案都在互联网上,任何一条训练数据管线都可能(哪怕完全无意地)把它们吃进去;你没法证明一个模型「没见过」某个公开基准(第 2 课)。非公开题不存在这个问题——这不是「谁更权威」,而是「结构上能不能被针对性优化」。以后看到一个分数,先问:这套题公开吗?

分完层,再查口径

同一个层级里,数字能不能比,还要看口径。下表前 6 行来自旧版 M8 的口径表(DeepSeek-V4、GLM-5.2、Kimi K3 三份材料),后几行是本轮核对时新遇到的:

数字真实口径混用会怎样
DeepSeek-V4 27% FLOPs / 10% KV1M 上下文、V4-Pro、对比 V3.2、整模型单 token换基线、换长度、只算注意力层,都不是这个数
V4-Flash 10% / 7%同上,但这是 Flash 的数,出现在正文不是摘要张冠李戴到 Pro 上
V4 KV ≈ 2%对比 BF16 的 GQA8 基线与上面的 10% 基线不同,不是一回事
GLM-5.2 2.9×1M 上下文、理论 FLOPs 估算、整模型说成「快了 2.9 倍」就错了
IndexCache 1.82× / 1.48×30B 的 DSA 模型、200K 上下文、prefill / decode 实测拿来给 GLM-5.2 的 1M 背书
K3 2.5× 缩放效率Moonshot 内部训练 run 拟合当成第三方结论引用
DeepSeek-V4.1-Flash DeepSWE 74.2mini-SWE 脚手架;OpenCode 下是 65.5,8 种脚手架都报了只引 74.2,等于默默选了最好的脚手架
K3 的 AA 智能指数 57.1v4.1 版指数(2026-07-23);v4.3.2 上是 44以为「掉了 13 分」——指数构成变了,不能比
K3 BrowseComp 每任务 $2.03K3 的成本自己测;Claude、GPT 的成本引自各自发布的图表同一张帕累托图里混着两种成本来源
GLM-5.2 753B / 744B753B 是 HF 从 safetensors 数出的张量总数,744B 是报告的架构口径以为有一方写错了——两个都对,说的是不同东西
V4-Flash 291BHF 合集页徽章统计量化 safetensors 的伪影;论文与模型卡是 284B引用 HF 合集页时被徽章带偏
Qwen3.8-Flash-Next 1M 窗口自报 1M 长度下 8 针 MRCR 为 26.44把「窗口 1M」当「有效 1M」(C2 第 5 课)
「A 方法优于 B 方法」两边的超参是各自调优的,还是共用一套?(K3 比较 cosine 与 WSD 时各做了一次独立的缩放律搜索)用共用超参比,结论只是超参偏向的结果

还有两条通用的:preview 版的数字(DeepSeek-V4 摘要自称「a preview version」)会在正式版里变,引用带版本与日期;分数要和成本一起看——K3 在 BrowseComp 上 91.2% 的成本约为 GPT-5.6 Sol 的一半,评价一个模型看的是「分数 ÷ 成本」落在哪条帕累托前沿上,而不只是排名。

「未核实」和「没有」是两回事

旧版 M8 横向对照三家模型时,GLM-5.2 那一列有 5 格标着「未核实」:它没有自己的技术报告,能拿到的只有 GLM-5 的报告(里面既没有 IndexShare,也没有 1M)和 5.2 的模型卡与 config。同样,IndexShare 的副作用官方没有报——正确的写法是「官方未报副作用数据」,不是「没有副作用」。

大多数错误的技术转述,都诞生在这两句话之间的那一步——为了让表格好看,把空格填上了。宁可留一个显眼的空格。上面的分类练习里,有 2 条带着「未核实」标记,原因也都写在条目里。

🔍 旧版 M8 在写作时主动删掉了两个数字

写那一节时,有两条关于 Artificial Analysis 的说法没有通过对抗验证(几个独立的核对者投票):①「AA 智能指数给 V4 Pro(Max)打 45 分,开放权重中位数 26」——1 比 2 被驳回;②「AA 明确把 DeepSeek 自报的 MMLU-Pro / LiveCodeBench 标为未经验证」——0 比 3 被驳回。第一个数字还能给 V4 加分,很好用;但没通过验证就是没通过,所以它们没有出现在正文里。把「查过但没敢用」的东西写出来,是可信度的一部分。反过来用:一份从不说「这条我没核实」的材料,通常不是因为它全核实了。
🔍 K3 报告里的网络安全评测:同一节里三个层级

K3 报告 §6.2.2 用两级评测网络安全能力。① 漏洞发现:在数十个广泛部署的系统上,经人工复核的发现约 70% 被确认为真实漏洞,包括 6 个项目里 16 个此前未知的漏洞,其中两个在 Linux 内核。② 漏洞利用:在一套自建的 36 题任务集上,K3 解出 14 题(38.9%),GLM-5.2 解出 8 题(22.2%);内核方向两个模型都有四分之三没解出。③ 报告还引用了英国 AI 安全研究所与 NIST CAISI 的联合独立评估:结论与自测一致,ExploitBench 上 K3 32% 对 GLM-5.2 24%,在端到端完成利用上仍落后于前沿模型(41 个任务 0 个)。同一节里,①② 是自测(② 还是内部题库),③ 是第三方——按这一课的读法,可以直接给三句话分层。出处:K3 报告 §6.2.2(本地 PDF)。

⚠ 常见误解

⚠

「分官方和第三方两类就够了。」中间那一层最有信息量:同样是厂商自己跑,写明了「在 H20 而不是 H100 上跑、取三次平均」的数字,和只给一个分数的,可信度不在一个量级上。

⚠

「第三方的数字一定更准。」第三方也有口径:CAISI 自己注明它的 SWE-bench Verified 分数常低于其他评测方(系统提示、脚手架、token 预算不同);Arena 的 Elo 会随投票漂移;AA 的智能指数换过版本;第三方的结果经厂商转述,要回原榜核对。第一层可信,是因为它独立、而且最好含非公开题,不是因为它免检。

⚠

「查不到,就是没有。」查不到是「未核实」。GLM-5.2 没有技术报告,不等于它没做残差改造;官方没报 IndexShare 的副作用,不等于没有副作用。

在演进地图上的位置

评测的演进:每一代都被上一代的某个真数字逼出来(点名字去那一课;完整版在章首页)
  1. 只看 loss(和 PPL)
  2. 仪表:开局对 ln V、梯度范数、最大 logit、spike score
  3. 公开 benchmark
  4. n-gram 去污染 + 干净子集
  5. 换一套没见过的题 / 按时间切分
  6. 交换性置换检验(可证检测)
  7. 非公开题 + 第三方预先定好的评测集
  8. 三层可信度 + 口径核对
  9. 多种子、信噪比
  10. 平滑指标 + 两步预测
结构上防非公开题 + 第三方预先定好的评测集NIST CAISI 2026你在这里
解决了题目不公开,就无法被针对性优化:DeepSeek-V4 Pro 在公开的 GPQA-Diamond 上与 Opus 4.6 差 1 个点,在非公开的 PortBench 上差 16 个点。
卡在分数本身有噪声;小模型上很多题根本测不准。
岔路三层可信度 + 口径核对旧 M7 / M8 的读法整合你在这里
解决了第三方独立 > 自跑但披露偏差 > 纯自报;再查版本、脚手架、日期、基线。
卡在—
数字口径:第一格由构建时读取项目真实日志 c08-stability.json 现算(runs 为 c6_lrw_d256_lr0.03 与 ref_baseline);其余出自原文——GPT-3 §4 与附录 C(本地 PDF)、HF《What's going on with the Open LLM Leaderboard?》(2023)、GSM1k 附录 F、Oren 2023 表 1、NIST CAISI 页面(2026-05-01)、DataDecide 摘要、Schaeffer 2023 §1、Hu 2024 摘要、OLMo 2 §3。

证据三问

问本课的回答
① 它解决什么问题?发布当天只有报告和转述;需要一套方法,判断每个数字该信几分、能不能和别的数比
② 数学上为什么可能有效?非公开题在结构上不可能进入训练数据;IRT 把不同难度的题放到同一把尺子上
③ 实验上为什么最后选了它?CAISI 的逐项分数里,V4 Pro 比 Opus 4.6 在 7 个公开或题源公开的基准上平均低 1.4 个点(去掉 IRT 补出的那一格是反而高 0.7),在两个非公开基准上低 16 与 17 个点

一句话

📌

数字先分三层:第三方独立(最好含非公开题)、自跑但披露偏差、纯自报;再查口径(版本、脚手架、日期、基线);查不到的格子写「未核实」,不要填。

回到主线

回主线第 3 课:大模型只训得起一次,小实验上得出的结论能信几分? → 第 3 课

你可能会问

这一课还没有收到真实提问;你的提问会记到 05-问答记录/C14-B1.md。前沿模型逐家拆解(架构、训练、后训练各改了什么)在 C15。