官方原页 × 中文译文 / LECTURE 8
智能体的监督微调
Training 1: Supervised Fine-Tuning (SFT)
共 49 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 49 页 · 智能体的监督微调
ZH / 中文对照个人学习译文 · 非官方译本
智能体的监督微调
11-768 · AI智能体 | 训练 1
智能体的监督微调
将记录下来的轨迹转化为权重
Yueqi Song
语言技术研究所(Language Technologies Institute)
全部原页链接
- 1 · 智能体的监督微调
- 2 · 今日内容
- 3 · 一条作为记录数据的轨迹
- 4 · 更新智能体的方法
- 5 · 轨迹教会智能体什么
- 6 · 完整训练流程
- 7 · 强化学习之前的冷启动
- 8 · 并列比较监督微调与强化学习
- 9 · 本课程的训练主题安排
- 10 · 将轨迹表示为词元序列
- 11 · 应用于轨迹的聊天模板
- 12 · 哪些词元参与损失计算
- 13 · 掩码如何构建
- 14 · 不同框架中的掩码控制
- 15 · 轮次结束词元
- 16 · 对推理区块应用掩码
- 17 · assistant 轮次内部的权重分配
- 18 · 样例数与词元数
- 19 · 轨迹监督中的开放问题
- 20 · 选择轨迹
- 21 · 轨迹来自哪里
- 22 · 从更强的模型进行蒸馏
- 23 · 轨迹数量与饱和
- 24 · 成功轨迹中的不良行为
- 25 · 按轨迹形态筛选轨迹采样
- 26 · 选择教师模型
- 27 · 任务来源
- 28 · 扩展数据规模
- 29 · 讨论:哪些轨迹应进入训练集
- 30 · 一种格式适配多种数据集
- 31 · 智能体数据集之间的异质性
- 32 · 一种轨迹表示方式
- 33 · 针对特定执行框架进行渲染
- 34 · 多样性与任务专用数据
- 35 · 运行训练
- 36 · 真实的 SFT 配置
- 37 · SFT 期间的专家路由
- 38 · 打包完整对话
- 39 · 模板漂移
- 40 · 已发布的训练工件
- 41 · 判断训练是否奏效
- 42 · 训练与运行之间的不匹配
- 43 · 在目标执行框架中评估
- 44 · 跨执行框架的稳健性
- 45 · 目标领域之外的性能退化
- 46 · 交接至强化学习
- 47 · 强化学习之前需要多少监督微调
- 48 · 问答
- 49 · 附录:精确的掩码标志
