RL 之后分数涨了,是模型学会了新本事,还是只把会的东西排到了前面?
这是一堂岔路课。学完 RLVR,一个自然的追问是:
「R1-Zero 的 AIME 从 15.6% 涨到了 71%。它是真的学会了原来不会的推理,还是原来就会、只是 RL 让它更容易把会的那条路采出来?」
本课一问:RL 之后分数涨了,是模型学会了新本事,还是只把会的东西排到了前面?
这一课先不碰:思考模型怎么训(回主线第 6 课)。
- 解决了pass@k 无偏估计:10 次里对 3 次,pass@1 = 0.30,pass@5 = 0.917——k 决定结论。卡在Qwen3 表 21:RL 把 pass@1 从 55.0 提到 67.6,pass@64 90.0 → 90.0 不变。
先把尺子磨准:pass@k 是什么
「学会了新本事」要有一个可测的定义。一道题,模型采 k 次,只要有一次对就算解出——这个概率叫 pass@k。k = 1 时它衡量「一次就对」的效率;k 很大时它衡量「采够多次能不能碰对」,也就是能力的边界。实际估计时,每题采 n 个样本、数出对了 c 个,用无偏估计 1 − C(n − c, k) / C(n, k):
试三件事:① 默认 n = 10、c = 3:pass@1 = 0.30,pass@5 = 0.917——同一组采样,只换 k,结论就从「十次对三次」变成「几乎总能解出」;② 把 c 拖到 0:任何 k 下 pass@k 都是 0,采样再多也碰不到;③ 对比两行公式:把 c/n 当真概率算 1 − (1 − c/n)^k 得 0.832,比无偏估计低——报告里要写清用的是哪一个。
这个估计量是可以证明无偏的 证据等级 · 数学可证明 在写明的前提下可以严格推导出来,不依赖实验。只要前提成立,换数据、换规模仍然成立。 本条从 n 个样本里不放回地抽 k 个、至少一个正确的精确概率,其期望等于真实的 pass@k。 出处Chen et al. 2021(Codex / HumanEval) ↗需联网 。它就是后面整场争论的尺子。
一方:RL 只是把会的排到前面(Yue et al. 2025)
Yue et al. 用 pass@k 在很大的 k(到 256 甚至更多)上比较基座和 RLVR 模型,覆盖多个模型家族、多种 RL 算法、数学 / 代码 / 视觉推理:k 小时 RLVR 模型更好,k 大时基座的 pass@k 反而更高;而且 RLVR 训练越久,能解出的题目集合(覆盖率)越窄 证据等级 · 实验验证 由对比实验得出的经验结论,只在出处写明的模型、数据和规模下成立。换了条件可能不再成立,引用时要带上实验设置。 本条摘要原话:RLVR-trained models outperform their base models at smaller values of k, base models achieve higher pass@k score when k is large;reasoning capability boundary often narrows as RLVR training progresses。 出处Yue et al. 2025(v5) ↗需联网 。他们的解释:RLVR 生成的推理路径,基座的采样分布里本来就有;RL 把分布往「更可能拿到奖励」的路径上偏,采样效率高了,范围却窄了。对照:蒸馏能真正引入老师的新推理模式。
这个机制可以自己拧一遍。下面 12 道题的基座单次正确率和「锐化」规则是教学设定,只用来演示机制;每条 pass@k 曲线由 1 − (1 − p)k 现算:
试三件事:① 默认设置下,pass@1 从 0.241 升到 0.346,可在 k = 8 附近两条线交叉,k = 1024 时基座 0.915、RL 0.789;② 把锐化强度 a 拖回 1:两条线重合——不锐化就没有交叉;③ 把分界 τ 往下拖到 0.02:只有极少数题被压低,交叉点右移、差距变小。交叉出现在哪里,取决于 RL 压低了多少「基座偶尔能碰对」的题。
另一方:训得够久,能找到新东西(ProRL,NVIDIA 2025)
ProRL 在 1.5B 的推理模型(从 DeepSeek-R1-Distill-Qwen-1.5B 出发)上做了 2,000 多步 RL,配上 KL 控制、定期重置参考模型和很宽的任务集,报告:RL 模型在很宽的 pass@k 范围内都胜过基座,包括基座采多少次都解不出的任务;边界扩展的程度与基座在该任务上的能力、训练时长强相关 证据等级 · 实验验证 由对比实验得出的经验结论,只在出处写明的模型、数据和规模下成立。换了条件可能不再成立,引用时要带上实验设置。 本条摘要原话:prolonged RL training can uncover novel reasoning strategies that are inaccessible to base models, even under extensive sampling。模型 Nemotron-Research-Reasoning-Qwen-1.5B。 出处ProRL(Liu et al. 2025) ↗需联网 。
一份真实数据:同一个起点,RL 与蒸馏
Qwen3 技术报告的表 21 恰好给了一组可以直接对照的数:
RL 把 pass@1 提高了 12.6 分,pass@64 一分没动;on-policy 蒸馏两个都提高了,GPU 时只有 RL 的十分之一。这与 Yue 2025 同向,也和它「蒸馏能带来新东西」的对照一致 证据等级 · 实验验证 由对比实验得出的经验结论,只在出处写明的模型、数据和规模下成立。换了条件可能不再成立,引用时要带上实验设置。 本条官方自报;单一模型(8B)、单一设置,RL 的训练量未必足够长——正是 ProRL 质疑的那种设置。 出处Qwen3 技术报告 表 21 ↗需联网 。
证据三问:两派到底在争什么
| 问 | Yue 2025 | ProRL 2025 |
|---|---|---|
| ① 它们在回答什么? | 当前常见的 RLVR 训法,有没有让模型超出基座的边界 | 训练足够久、足够稳的 RL,能不能超出基座的边界 |
| ② 数学上能说什么? | pass@k 的无偏估计可证明 证据等级 · 数学可证明 在写明的前提下可以严格推导出来,不依赖实验。只要前提成立,换数据、换规模仍然成立。 本条只证明了尺子,不证明任何一方的结论。 出处待补 ;「RL 只重排」是对机制的解释 证据等级 · 有理论动机 有数学或机制上的理由说明它可能有效,但没有证明它一定更好。最后是否采用,仍然要看实验。 本条若 RL 只在基座分布的支撑集内调整概率,大 k 的覆盖率不可能超过基座;但策略梯度并不保证支撑集不变。 出处待补 | 同左:RL 原则上可以把基座概率极小的路径推起来,问题是现实训练有没有做到 |
| ③ 实验证据的条件 | 多家族、多算法,训练步数较短(图 1 是 150–450 步);k 取到 256 这一量级 | 1.5B 一个模型、2,000+ 步;包含基座完全解不出的任务 |
两篇论文的结论并不矛盾到非此即彼:训练时长、模型规模、任务选择、k 的取值都不同。同一句「RL 能不能扩展能力」,在不同条件下可以有不同的答案。这正是这门课一直在练的习惯:引用一个实验结论时,连同它的条件一起引用 证据等级 · 实验验证 由对比实验得出的经验结论,只在出处写明的模型、数据和规模下成立。换了条件可能不再成立,引用时要带上实验设置。 本条两派都是实验结论,只在各自写明的模型、数据、步数、k 下成立。 出处待补 。
常见误解一:「pass@1 涨了,能力边界就扩大了。」 pass@1 衡量效率,边界要看大 k 的 pass@k。Qwen3 表 21 里 pass@1 涨了 12.6 分,pass@64 没动。
常见误解二:「Yue 2025 证明了 RL 没用。」 它说的是当前 RLVR 训法主要提升采样效率,这本身就很有用(用户只采一次);它没有证明「任何 RL 都不能扩展边界」,ProRL 给了反例。
一句话
小 k 看效率、大 k 看边界:同一组数,k 取多大决定你得出哪个结论。
回到主线
回主线第 6 课:推理题要「想得久」,怎么训、怎么控? → 第 6 课
你可能会问
- 「那 R1-Zero 的『顿悟时刻』算不算新本事?」 R1 报告里的「aha moment」是模型在思考中学会用拟人的语气回头检查;它说明 RL 能让模型更频繁地使用反思这种模式,但不能单凭它判断这种模式在基座分布里是否已经存在——这正是 Yue 2025 用 pass@k 和困惑度去检验的问题。
- 「pass@k 在 Agent 评测里也用吗?」 用,而且还有它的「反面」pass^k(k 次全部成功的概率),衡量稳定性。Agent 课 A9 会讲。