我们项目跑过的几十个 run,仪表上哪些「正常」、哪些「要出事」?

先写预测

在打开下面的表之前,先在纸上写三件事:

1. 你觉得哪几类改动会让仪表报警?(提示:学习率、warmup、归一化位置、初始化、残差、掩码……)
2. 你觉得有没有「最后结果变差了,但一路上仪表都很安静」的 run?会是哪一类改动?
3. 同一个配置重跑,最终 val loss 会差多少?0.001、0.01,还是 0.1?

第一步:体检表与报警规则

每一行是一个 run,参照是基线配置 ref_baseline。上面四个输入框是报警规则,默认值是一种写法,不是标准答案:

• 规则 ① 开局自检:|第 0 步 val loss − ln V| 大于阈值;
• 规则 ② 梯度范数:全程峰值 ≥ 参照峰值的几倍;
• 规则 ③ 最大注意力 logit:全程峰值 ≥ 阈值(K2 的 QK-Clip 用 τ = 100,C8 第 4 课);
• 发散:训练中 loss 变成 NaN / inf。

「结果」一列拿最终 val loss 和参照比:比参照差超过阈值记为「坏」,比参照好得离谱也记为异常。词表、训练长度、步数不同的 run,val loss 没法直接比,记为「不可比」。

第二步:代表性 run 的完整曲线

c14-eval.json 按固定规则挑了几条代表性 run 导出完整曲线:参照、梯度范数峰值最大的未发散 run、最大注意力 logit 峰值最大的 run、初始化标准差 1.0 的 run;第 1 课用过的 C8 各 run 也在。挑一条和参照并排回放:

第三步:定下项目的噪声底线

同一个配置、同一个种子、同一台机器,5 次重跑的最终 val loss 均值 4.6293、标准差 0.0066、极差 0.0162 实验验证 。README 里「重跑差约 0.003」的说法只来自两次运行;这张图才是项目今后判断「差异是否超出噪声」的依据。

把结论写进项目

在演进地图上的位置

一句话

下一站

这一章的三件工具——训练仪表、分数与污染、信噪比——到这里都用过了。下一章去读别人的前沿技术报告:C15 前沿解剖。