官方原页 × 中文译文 / LECTURE 9

智能体的强化学习基础

Training 2: Reinforcement Learning Basics

共 46 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。

双语 PDF 对应页 ↗

原 PDF 第 1 / 46 页 · 智能体的强化学习基础

EN / 英文原页

Training 2: Reinforcement Learning Basics · PDF第1页

点击原图可放大查看。图内印刷页码可能不同,以本页标注的 PDF 页码为准。

ZH / 中文对照个人学习译文 · 非官方译本

智能体的强化学习基础

智能体的强化学习基础

从监督微调(SFT)到策略梯度

Daniel Fried

11-768:AI 智能体

全部原页链接
  1. 1 · 智能体的强化学习基础
  2. 2 · 运行示例:数字搜索
  3. 3 · 从示范进行监督微调
  4. 4 · 任务目标不匹配
  5. 5 · 数据不匹配
  6. 6 · 暴露偏差
  7. 7 · 强化学习
  8. 8 · 交互构成轨迹
  9. 9 · 智能体—环境循环
  10. 10 · 轨迹
  11. 11 · 轨迹还可以包含逐步奖励
  12. 12 · 轨迹概率
  13. 13 · 目标:最大化期望奖励
  14. 14 · 专家迭代
  15. 15 · 强化式自训练
  16. 16 · 强化式自训练:筛选高奖励轨迹
  17. 17 · 从奖励到梯度
  18. 18 · 如何最大化期望奖励?
  19. 19 · 策略梯度推导
  20. 20 · 策略梯度:用采样轨迹估计
  21. 21 · 轨迹的对数概率
  22. 22 · 计算策略梯度
  23. 23 · 策略梯度训练循环
  24. 24 · 二元奖励下,这与 ReST 很相似
  25. 25 · 超越期望
  26. 26 · 奖励应当是相对的
  27. 27 · 优势
  28. 28 · 用优势估计进行策略梯度
  29. 29 · 基线不会使梯度估计产生偏差
  30. 30 · 简单示例:双臂赌博机
  31. 31 · 简单示例:添加基线
  32. 32 · 简单示例:改变基线
  33. 33 · 简单示例:梯度估计中的噪声
  34. 34 · 基线与信用分配
  35. 35 · 如果有中间奖励呢?
  36. 36 · 比较轨迹
  37. 37 · 组相对优势估计
  38. 38 · GRPO 更新
  39. 39 · DrGRPO 的两项改动
  40. 40 · DrGRPO 中的词元系数
  41. 41 · 奖励相等导致优势估计为零
  42. 42 · GRPO 与 PPO
  43. 43 · 总结
  44. 44 · 比较目前为止介绍的方法
  45. 45 · 要点
  46. 46 · 问答

对应的中文问题课