官方原页 × 中文译文 / LECTURE 12
强化学习系统
Training 4: RL Systems
共 43 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 43 页 · 强化学习系统
ZH / 中文对照个人学习译文 · 非官方译本
强化学习系统
强化学习系统
Apurva Gandhi · 卡内基梅隆大学 · 语言技术研究所 · 11-768:AI 智能体
全部原页链接
- 1 · 强化学习系统
- 2 · 强化学习系统:概览
- 3 · LLM 强化学习框架必须支持哪些操作?
- 4 · 为什么不直接用原生 PyTorch 手写实现?
- 5 · 强化学习框架由两种本质不同的工作负载组成
- 6 · 强化学习框架由两种本质不同的工作负载组成
- 7 · 训练引擎与推理引擎之间的交互
- 8 · 拆解一次训练步骤
- 9 · 推理优化:KV 缓存
- 10 · 推理优化:前缀缓存
- 11 · 推理优化:连续批处理
- 12 · 推理优化:推测解码
- 13 · 训练优化:激活检查点
- 14 · 训练优化:前缀共享
- 15 · 优化:并行化
- 16 · 训练与推理交互:权重同步
- 17 · 训练与推理交互:采样轨迹路由重放(R3)
- 18 · 智能体强化学习:关键难点
- 19 · 序列扩展
- 20 · 序列扩展:训练批次
- 21 · 聊天模板的细节问题
- 22 · 聊天模板的细节问题
- 23 · 词元输入、词元输出(TITO)
- 24 · 词元输入、词元输出(TITO)
- 25 · 异步强化学习
- 26 · 在途权重更新
- 27 · 复杂执行框架(子智能体、上下文压缩等)
- 28 · 系统设计选择
- 29 · 与执行框架无关的设计
- 30 · 单程序、多数据(SPMD)
- 31 · 一切皆服务,使用单一控制器
- 32 · 一切皆服务,使用单一控制器
- 33 · 一切皆服务,使用单一控制器
- 34 · 弹性扩容
- 35 · 弹性扩容
- 36 · 多集群 / 异构计算
- 37 · 示例:AstraFlow
- 38 · 多策略训练
- 39 · 在线强化学习(部署后训练)
- 40 · 多租户、多 LoRA 训练
- 41 · Tinker
- 42 · 谢谢,有问题吗?
- 43 · 值得追踪 / 调试的一些指标
