官方原页 × 中文译文 / LECTURE 7
计算机使用智能体
Computer Use Agents
共 94 页，按原 PDF 物理页对应。英文原件保持原样；中文为个人学习译文，译注单独标记。公式、代码及图表可回到左侧原页核对。
原 PDF 第 1 / 94 页 · 计算机使用智能体
EN / 英文原页
点击原图可放大查看。图内印刷页码可能不同，以本页标注的 PDF 页码为准。
ZH / 中文对照个人学习译文 · 非官方译本
计算机使用智能体
计算机使用智能体
JY Koh
11-768：AI 智能体
2026 年 9 月 15 日
全部原页链接
- 1 · 计算机使用智能体
- 2 · 计算机使用智能体（CUA）
- 3 · 观察、推理、行动
- 4 · 观察、推理、行动：点击蓝色杯子
- 5 · 观察、推理、行动：查看配送信息
- 6 · 观察、推理、行动：点击邮政编码栏
- 7 · 观察、推理、行动：输入邮政编码
- 8 · 浏览器交互循环示例
- 9 · CUA 简史：玩具环境
- 10 · CUA 简史：在真实商品中购物
- 11 · CUA 简史：逼真的环境
- 12 · CUA 简史：完整桌面工作流
- 13 · CUA 简史：逼真的环境与数据
- 14 · CUA 简史：真实软件与真实任务
- 15 · CUA 简史：现实世界中的使用
- 16 · 基准与评估
- 17 · 什么才算成功？
- 18 · 基准：从预测动作到完成长工作流
- 19 · 静态评估：这个动作正确吗？
- 20 · ScreenSpot-Pro：专业界面中的定位
- 21 · ScreenSpot-Pro：专业界面中的定位示例
- 22 · Mind2Web：跨网页的离线泛化
- 23 · Mind2Web：离线网页任务示例
- 24 · 基准：从预测动作到完成长工作流
- 25 · 程序化状态：检查最终世界状态
- 26 · WebArena：可复现网站与可执行目标
- 27 · WebArena：程序化验证器示例
- 28 · VisualWebArena：视觉是任务的一部分
- 29 · LLM / VLM 评判：评估证据
- 30 · WebVoyager：开放式结果的实时网页任务
- 31 · WebVoyager：实时网站与开放式结果示例
- 32 · Online-Mind2Web：实时网站带来基准漂移
- 33 · 人工复核：解决结果模糊的情况
- 34 · 基准：从预测动作到完成长工作流
- 35 · OSWorld：真实桌面与定制的最终状态检查
- 36 · OSWorld：更新账务工作簿
- 37 · WindowsAgentArena：云规模的 Windows 评估
- 38 · 基准：从预测动作到完成长工作流
- 39 · 混合 / 轨迹评估：同时检查结果与过程
- 40 · Odysseys：实时网页上的长时程任务
- 41 · Odysseys：沿整个行程评估进展
- 42 · OSWorld 2.0：持续数小时的工作流
- 43 · OSWorld 2.0：文件存在仍可能不正确
- 44 · OSWorld 2.0：在 SolveSpace 中建模零件
- 45 · CUA-World-Long：每种软件设置一项困难任务
- 46 · 建模
- 47 · VLM 根据视觉历史预测动作
- 48 · VLM 根据视觉历史预测动作
- 49 · 将动作 0 添加到轨迹
- 50 · VLM 根据视觉历史预测动作：第 1 步
- 51 · VLM 根据视觉历史预测动作：第 1 步
- 52 · 将动作 1 添加到轨迹
- 53 · VLM 根据视觉历史预测动作：第 t 步
- 54 · VLM 根据视觉历史预测动作：后续动作
- 55 · 交错的视觉与动作历史
- 56 · VLM 根据交错词元预测动作
- 57 · 前沿 CUA：相似观测，不同动作
- 58 · 训练
- 59 · 训练阶段
- 60 · 预训练：UI 元素与动作
- 61 · 后训练（SFT）：模仿有用轨迹
- 62 · 示范数据：规模更大，轨迹更丰富
- 63 · 后训练（RL）：从评分轨迹中学习
- 64 · RL 训练
- 65 · 我们需要用于 RL 的模拟环境
- 66 · CUA-Gym：构建可复用且可重置的模拟应用
- 67 · CUA-Gym：共同生成任务、状态与奖励
- 68 · CUA-Gym：需要多少训练数据？
- 69 · CUA-Gym：已验证轨迹采样提升策略
- 70 · Gym-Anything：创建并审计真实软件环境
- 71 · Gym-Anything：扩展任务，再验证轨迹
- 72 · Gym-Anything：覆盖真实软件环境
- 73 · Gym-Anything：蒸馏成功轨迹
- 74 · 训练阶段
- 75 · 总结
- 76 · 还有哪些工作？
- 77 · 速度与成本
- 78 · 个性化：适应用户
- 79 · 基础设施与用户体验
- 80 · 多智能体系统
- 81 · 谢谢！
- 82 · 附录：基准
- 83 · 附录：建模与训练
- 84 · 附录：系统
- 85 · 附录：产品
- 86 · Android in the Wild：规模大，但没有最终状态检查
- 87 · AndroidControl：多样化应用与配对指令
- 88 · AgentNetBench：离线桌面代理基准
- 89 · WorkArena：带验证器的企业任务
- 90 · WorkArena++：组合式企业工作流
- 91 · AndroidWorld：参数化移动端状态
- 92 · MobileWorld：跨应用、用户与 MCP 任务
- 93 · MyPCBench：一个人的跨应用数字生活
- 94 · WeaveBench：GUI + CLI 混合轨迹