官方原页 × 中文译文 / LECTURE 9
智能体的强化学习基础
Training 2: Reinforcement Learning Basics
共 46 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 46 页 · 智能体的强化学习基础
ZH / 中文对照个人学习译文 · 非官方译本
智能体的强化学习基础
智能体的强化学习基础
从监督微调(SFT)到策略梯度
Daniel Fried
11-768:AI 智能体
全部原页链接
- 1 · 智能体的强化学习基础
- 2 · 运行示例:数字搜索
- 3 · 从示范进行监督微调
- 4 · 任务目标不匹配
- 5 · 数据不匹配
- 6 · 暴露偏差
- 7 · 强化学习
- 8 · 交互构成轨迹
- 9 · 智能体—环境循环
- 10 · 轨迹
- 11 · 轨迹还可以包含逐步奖励
- 12 · 轨迹概率
- 13 · 目标:最大化期望奖励
- 14 · 专家迭代
- 15 · 强化式自训练
- 16 · 强化式自训练:筛选高奖励轨迹
- 17 · 从奖励到梯度
- 18 · 如何最大化期望奖励?
- 19 · 策略梯度推导
- 20 · 策略梯度:用采样轨迹估计
- 21 · 轨迹的对数概率
- 22 · 计算策略梯度
- 23 · 策略梯度训练循环
- 24 · 二元奖励下,这与 ReST 很相似
- 25 · 超越期望
- 26 · 奖励应当是相对的
- 27 · 优势
- 28 · 用优势估计进行策略梯度
- 29 · 基线不会使梯度估计产生偏差
- 30 · 简单示例:双臂赌博机
- 31 · 简单示例:添加基线
- 32 · 简单示例:改变基线
- 33 · 简单示例:梯度估计中的噪声
- 34 · 基线与信用分配
- 35 · 如果有中间奖励呢?
- 36 · 比较轨迹
- 37 · 组相对优势估计
- 38 · GRPO 更新
- 39 · DrGRPO 的两项改动
- 40 · DrGRPO 中的词元系数
- 41 · 奖励相等导致优势估计为零
- 42 · GRPO 与 PPO
- 43 · 总结
- 44 · 比较目前为止介绍的方法
- 45 · 要点
- 46 · 问答
