官方原页 × 中文译文 / LECTURE 11
智能体的高级强化学习算法
Training 3: Advanced RL Algorithms
共 58 页，按原 PDF 物理页对应。英文原件保持原样；中文为个人学习译文，译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 58 页 · 智能体的高级强化学习算法
EN / 英文原页
点击原图可放大查看。图内印刷页码可能不同，以本页标注的 PDF 页码为准。
ZH / 中文对照个人学习译文 · 非官方译本
智能体的高级强化学习算法
智能体的高级强化学习算法
改进智能体从经验中学习的方式
Graham Neubig · 语言技术研究所 · 卡内基梅隆大学
全部原页链接
- 1 · 智能体的高级强化学习算法
- 2 · 强化学习课程图谱
- 3 · 一个强化学习任务：修复错误
- 4 · 一条成功的轨迹
- 5 · 强化学习训练循环
- 6 · 奖励与策略更新
- 7 · 信用分配与密集反馈
- 8 · 比较同一任务上的多条轨迹
- 9 · 为各轮分配奖励
- 10 · 一条轨迹的后续回报
- 11 · 沿两条轨迹分配信用
- 12 · 给定历史时的期望后续回报
- 13 · 学习价值函数
- 14 · 价值函数的建模方式
- 15 · 价值的一步变化
- 16 · 广义优势估计
- 17 · 替代信号：从标注中学习价值
- 18 · 同步与异步强化学习
- 19 · 同步强化学习中的等待
- 20 · 重叠执行采样轨迹和更新
- 21 · 稳定策略更新
- 22 · 来自旧策略的采样轨迹
- 23 · 重要性采样
- 24 · 长轨迹与陈旧数据
- 25 · 不匹配会沿响应不断累积
- 26 · 较早的动作会改变后续历史
- 27 · 哪些动作会进入权重计算？
- 28 · 裁剪策略更新
- 29 · 为什么要限制一次更新？
- 30 · 裁剪概率比率
- 31 · PPO 与 CISPO 的策略目标
- 32 · PPO 的裁剪目标
- 33 · 参考模型 KL 惩罚
- 34 · 用于探索的熵
- 35 · 常见算法概览
- 36 · 任务选择与奖励可靠性
- 37 · 信息量不足的轨迹组
- 38 · 为什么所有轨迹都失败了？
- 39 · 验证器的假阴性
- 40 · 假阴性的后果
- 41 · 假阳性与奖励投机
- 42 · 编码智能体中的奖励投机
- 43 · 独立检查进展
- 44 · DAPO：动态采样
- 45 · 部分奖励与辅助奖励
- 46 · 辅助奖励的风险
- 47 · 探索崩塌
- 48 · 向教师模型学习
- 49 · 课程学习与热启动
- 50 · 蒸馏
- 51 · 在策略蒸馏
- 52 · 密集蒸馏目标
- 53 · 在策略自蒸馏
- 54 · 结论
- 55 · 强化学习要点
- 56 · 问题与答疑
- 57 · 记号：采样轨迹
- 58 · 记号：学习信号