官方原页 × 中文译文 / LECTURE 12

强化学习系统

Training 4: RL Systems

共 43 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。

双语 PDF 对应页 ↗

原 PDF 第 1 / 43 页 · 强化学习系统

EN / 英文原页

Training 4: RL Systems · PDF第1页

点击原图可放大查看。图内印刷页码可能不同,以本页标注的 PDF 页码为准。

ZH / 中文对照个人学习译文 · 非官方译本

强化学习系统

强化学习系统

Apurva Gandhi · 卡内基梅隆大学 · 语言技术研究所 · 11-768:AI 智能体

全部原页链接
  1. 1 · 强化学习系统
  2. 2 · 强化学习系统:概览
  3. 3 · LLM 强化学习框架必须支持哪些操作?
  4. 4 · 为什么不直接用原生 PyTorch 手写实现?
  5. 5 · 强化学习框架由两种本质不同的工作负载组成
  6. 6 · 强化学习框架由两种本质不同的工作负载组成
  7. 7 · 训练引擎与推理引擎之间的交互
  8. 8 · 拆解一次训练步骤
  9. 9 · 推理优化:KV 缓存
  10. 10 · 推理优化:前缀缓存
  11. 11 · 推理优化:连续批处理
  12. 12 · 推理优化:推测解码
  13. 13 · 训练优化:激活检查点
  14. 14 · 训练优化:前缀共享
  15. 15 · 优化:并行化
  16. 16 · 训练与推理交互:权重同步
  17. 17 · 训练与推理交互:采样轨迹路由重放(R3)
  18. 18 · 智能体强化学习:关键难点
  19. 19 · 序列扩展
  20. 20 · 序列扩展:训练批次
  21. 21 · 聊天模板的细节问题
  22. 22 · 聊天模板的细节问题
  23. 23 · 词元输入、词元输出(TITO)
  24. 24 · 词元输入、词元输出(TITO)
  25. 25 · 异步强化学习
  26. 26 · 在途权重更新
  27. 27 · 复杂执行框架(子智能体、上下文压缩等)
  28. 28 · 系统设计选择
  29. 29 · 与执行框架无关的设计
  30. 30 · 单程序、多数据(SPMD)
  31. 31 · 一切皆服务,使用单一控制器
  32. 32 · 一切皆服务,使用单一控制器
  33. 33 · 一切皆服务,使用单一控制器
  34. 34 · 弹性扩容
  35. 35 · 弹性扩容
  36. 36 · 多集群 / 异构计算
  37. 37 · 示例:AstraFlow
  38. 38 · 多策略训练
  39. 39 · 在线强化学习(部署后训练)
  40. 40 · 多租户、多 LoRA 训练
  41. 41 · Tinker
  42. 42 · 谢谢,有问题吗?
  43. 43 · 值得追踪 / 调试的一些指标

对应的中文问题课