CMU AI AGENTS / 长任务怎样拆,计划为什么必须会变 / 第 20 课

现在应该继续想、去看一眼,还是直接动手?

额外推理、获取观察、执行动作有不同价值与成本。缺少环境信息时,继续猜测不能替代一次有用的查询。

完整讲解 · 条件对照 · 理解检查所在单元与学习顺序官方课件全页浏览

本节要解决的事:多想一会儿能发现算术错误,却不能凭空知道仓库此刻有几盒笔。先判断不知道的是逻辑关系,还是环境事实。

三个看起来都叫“还没准备好”的状态

状态 A:已知买三盒、每盒 12 元、运费 8 元,尚未计算总价。状态 B:同样的报价,但库存未知。状态 C:价格、库存、收货信息、权限与用户确认均已满足,只差执行。A 需要算 3×12+8=44;B 需要查询;C 才可以在授权范围内执行。三个状态不能用同一种“再想一遍”解决。

朴素系统遇到不确定就让模型生成更长解释,可能越说越像知道。库存未知时,继续推理最多列出库存为零、足够或不足的可能性;如果没有新信息,就不能把某种可能性变成事实。反过来,算术已经给足数据时反复联网查询,也可能只增加等待和噪声。

官方原课件 · Lecture 5 · PDF 第 24 页更多推理和更多环境交互提供不同东西
课件对照延长推理、采样多候选与增加环境交互,并说明交互可获得新信息

重点不是哪一种永远最好,而是它们花同样资源时改变了什么。多候选可以探索不同解法;新的环境观察可能直接消除一个原本无法推断的未知条件。

文件名像线索,却不是证据

官方例子让文件有三个隐藏选项:分隔符三种、引号两种、需要跳过的表头行数两种,共 3×2×2=12 种格式组合。文件名 sales_fr.tsv 提示可能是制表符,但不能单凭名字确定引号与表头。长篇分析文件名仍缺少数据内容。

如果能读取文件开头几行,就可能排除许多组合;再用小样本解析并检查列数与字段含义,可以验证候选。这里“看一眼”不是无条件万能:样本可能没有带引号字段,前几行也可能与后面不同。观察应针对未知量设计,并保留验证未覆盖的边界。

官方原课件 · Lecture 5 · PDF 第 26 页十二种格式组合,缺的不是更长猜测
右侧列出三种分隔符、两种引号、零或一行表头,以及文件名的有限线索

先手算 3×2×2=12,再问文件名实际能告诉什么。它最多提供一种倾向;若工具能读取文件内容,额外观察比重复解释同一个文件名更可能带来新信息。

观察过程 · 改变条件

选择思考、查询还是执行

先做预测,再逐步展开。这里是固定规则的教学回放,不是真实模型测评。

教学构造场景 · 按下方规则逐步回放;不调用真实模型,不代表实际成功率。

这一轮的输入

3 盒×12 元,运费 8 元,预算 50 元。

  1. 1. 识别未知

    缺的是由已知数字导出的总价。

  2. 2. 计算

    3×12+8=44,预算余量 6。

  3. 3. 产出结论

    报告总价与余量,不从计算推断库存。

识别未知

缺的是由已知数字导出的总价。

1 / 3
先预测,再核对结果与原因先计算

现有信息足以回答价格问题。

用信息价值比较下一步

可以粗略问:一个观察要花多少,能避免多大的错误?假设教学场景中错误操作损失 100 单位,当前出错可能性设为 20%,一次检查花 2 单位且能完全识别该错误,那么未经检查的期望损失是 20,检查成本是 2,检查有价值。这些概率与效果都是假设,只示范比较方法,现实必须估计检查漏检、延迟和替代行动成本。

如果错误操作可免费撤销,查询反而非常慢,先进行可逆试验有时合理;如果动作不可逆或有外部影响,先获取足够信息和授权更重要。这个取舍来自任务成本和边界,不是模型更喜欢思考还是行动。

也要检查观察本身是否改变世界。读取文件通常与提交订单不同,但某些“检查”接口可能触发刷新、预留或发送。工具名称不能替代其实际语义。把副作用查询误当成纯观察,会让信息收集阶段也产生未预期变化。

观察的价值取决于它能改变哪个决定。即使一次查询很便宜,若结果与当前问题无关,也不应把调用次数当成进展。

理解检查

问题一:模型想出十二种格式,是否已经知道真实格式? 没有。它枚举了假设空间,还需观察或试验选择并验证候选。思考扩大了可能性,不等于缩小了真实不确定性。

问题二:预算余量 6,能否直接说三盒可以买到? 不能。算价只证明金额条件满足,库存、规格、权限与授权是其他前提。应该明确结论只覆盖价格。

问题三:一次查询也可能不完整,该怎么办? 设计下一次观察去验证剩余关键未知,例如扩大样本、检查边界字段或读回最终状态。不要把“有工具返回”误当成“所有不确定性已消除”。

下一问

如果有三个互不依赖的观察,是否派三个 Agent 就会快很多?下一节把真实工作时间、交接和共享会话放在同一条时间线上。