官方原页 × 中文译文 / LECTURE 8

智能体的监督微调

Training 1: Supervised Fine-Tuning (SFT)

共 49 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。

双语 PDF 对应页 ↗

原 PDF 第 1 / 49 页 · 智能体的监督微调

EN / 英文原页

Training 1: Supervised Fine-Tuning (SFT) · PDF第1页

点击原图可放大查看。图内印刷页码可能不同,以本页标注的 PDF 页码为准。

ZH / 中文对照个人学习译文 · 非官方译本

智能体的监督微调

11-768 · AI智能体 | 训练 1

智能体的监督微调

将记录下来的轨迹转化为权重

Yueqi Song

语言技术研究所(Language Technologies Institute)

全部原页链接
  1. 1 · 智能体的监督微调
  2. 2 · 今日内容
  3. 3 · 一条作为记录数据的轨迹
  4. 4 · 更新智能体的方法
  5. 5 · 轨迹教会智能体什么
  6. 6 · 完整训练流程
  7. 7 · 强化学习之前的冷启动
  8. 8 · 并列比较监督微调与强化学习
  9. 9 · 本课程的训练主题安排
  10. 10 · 将轨迹表示为词元序列
  11. 11 · 应用于轨迹的聊天模板
  12. 12 · 哪些词元参与损失计算
  13. 13 · 掩码如何构建
  14. 14 · 不同框架中的掩码控制
  15. 15 · 轮次结束词元
  16. 16 · 对推理区块应用掩码
  17. 17 · assistant 轮次内部的权重分配
  18. 18 · 样例数与词元数
  19. 19 · 轨迹监督中的开放问题
  20. 20 · 选择轨迹
  21. 21 · 轨迹来自哪里
  22. 22 · 从更强的模型进行蒸馏
  23. 23 · 轨迹数量与饱和
  24. 24 · 成功轨迹中的不良行为
  25. 25 · 按轨迹形态筛选轨迹采样
  26. 26 · 选择教师模型
  27. 27 · 任务来源
  28. 28 · 扩展数据规模
  29. 29 · 讨论:哪些轨迹应进入训练集
  30. 30 · 一种格式适配多种数据集
  31. 31 · 智能体数据集之间的异质性
  32. 32 · 一种轨迹表示方式
  33. 33 · 针对特定执行框架进行渲染
  34. 34 · 多样性与任务专用数据
  35. 35 · 运行训练
  36. 36 · 真实的 SFT 配置
  37. 37 · SFT 期间的专家路由
  38. 38 · 打包完整对话
  39. 39 · 模板漂移
  40. 40 · 已发布的训练工件
  41. 41 · 判断训练是否奏效
  42. 42 · 训练与运行之间的不匹配
  43. 43 · 在目标执行框架中评估
  44. 44 · 跨执行框架的稳健性
  45. 45 · 目标领域之外的性能退化
  46. 46 · 交接至强化学习
  47. 47 · 强化学习之前需要多少监督微调
  48. 48 · 问答
  49. 49 · 附录:精确的掩码标志

对应的中文问题课