官方原页 × 中文译文 / LECTURE 3
智能体能力 2:长上下文智能体的上下文管理
Agent Capabilities 2: Context Management for Long-Context Agents
共 54 页,按原 PDF 物理页对应。英文原件保持原样;中文为个人学习译文,译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 54 页 · 长上下文智能体的上下文管理
ZH / 中文对照个人学习译文 · 非官方译本
长上下文智能体的上下文管理
智能体如何在历史不断增长时持续工作
Graham Neubig
语言技术研究所
全部原页链接
- 1 · 长上下文智能体的上下文管理
- 2 · 智能体上下文增长
- 3 · 线性历史增长带来二次方输入量
- 4 · 智能体提示的组成示例
- 5 · 长上下文的两项挑战
- 6 · LLM 推理
- 7 · 服务栈的组成部分
- 8 · 推理阶段
- 9 · 服务指标
- 10 · 回顾:注意力
- 11 · 标称上下文与有效上下文
- 12 · 长上下文架构
- 13 · 标准注意力是全局的
- 14 · 局部建模
- 15 · 混合模型中的周期性全局访问
- 16 · 长上下文混合架构
- 17 · 四种反复出现的机制
- 18 · 滑动窗口注意力
- 19 · Softmax 注意力
- 20 · 线性注意力
- 21 · DeltaNet
- 22 · Gated DeltaNet
- 23 · Kimi Delta Attention
- 24 · 稀疏注意力
- 25 · KV 压缩
- 26 · 训练长上下文模型
- 27 · 由短到长的训练
- 28 · 绝对位置编码
- 29 · 旋转位置嵌入(RoPE)
- 30 · 无位置编码(NoPE)
- 31 · 位置插值
- 32 · YaRN
- 33 · 因模型而异的扩展路径
- 34 · 长上下文数据示例
- 35 · 长上下文数据混合
- 36 · 上下文并行
- 37 · 提示缓存与 KV 缓存
- 38 · 解码期间的 KV 缓存
- 39 · 缓存复用的实测收益
- 40 · 缓存词元 API 定价
- 41 · 分页 KV 缓存分配
- 42 · RadixAttention 前缀共享
- 43 · 感知缓存的请求路由
- 44 · 为缓存复用设计提示
- 45 · 上下文精简
- 46 · 精简示例
- 47 · 作为状态估计的精简
- 48 · 精简后保留什么
- 49 · 精简策略决策
- 50 · 重复精简导致漂移
- 51 · 基于续作的评估
- 52 · 要点
- 53 · 长上下文系统栈
- 54 · 问题
