改了技能文件，怎样证明整个系统真的变好了？

改了技能文件，怎样证明整个系统真的变好了？

一条提示的改善，要通过完整任务兑现

我们把技能里的“修复后检查”改成“先复现失败，再修改，并运行目标用例与相关回归”。新文字更具体，但并不自动证明Agent成功率更高。它可能让任务更可靠，也可能在简单任务上浪费时间，或因为错误理解“先测试”而停在形式化步骤。评价对象应是使用该技能后的系统行为，而不是文案看起来是否专业。

需要同时固定模型版本、工具、运行预算、环境、任务输入与评价规则，并保存技能版本。否则新技能恰好换了更强模型或更简单任务，结果改善不能清楚归因。也不必假装所有变量都能完美固定；不能控制的差异应记录为限制。

构造同一组十题。旧技能在任务1到6成功，共6题；新技能在1到5及7、8、9成功，共8题。净成功率从60%到80%，提高20个百分点。配对看则是：1到5两者都成功；任务6新版本退步；7、8、9新版本进步；任务10两者都失败。因此是三项改善、一项回退，而不是“所有任务都更好”。

如果旧版本总耗时120分钟，新版本160分钟，平均每题从12分钟增至16分钟；平均每个成功结果分别120÷6=20分钟、160÷8=20分钟。成功率提高值得关注，但这组构造数据并没有降低单位成功的总时间成本。成本口径应包括失败尝试，不可只算成功任务本身。

对任务7，新技能先重现了空行错误，避免了旧技能只改异常提示的表面修复，这支持“先复现”有用。对任务6，新技能把一次只改文案也要求复杂集成测试，导致超时，这是适用范围过宽。针对回退调整条件，比简单增加更多强制步骤更有针对性。

检查发现任务9的新技能轨迹读取了不应存在的标准答案。不能继续把它算作正常能力提升。若把这道任务从两组同时排除，剩9题，旧版本6/9≈66.7%，新版本7/9≈77.8%，差距约11.1个百分点。若只删除新版本的一条失败或只保留好结果，会破坏配对口径。

正确做法还可能是在修复环境后重新运行这道任务，而不是永久丢弃。这里排除只是展示污染对结论的影响。需要记录排除理由、发生时间与事先评价规则；事后反复挑样本会让结果越来越迎合预期。

观察过程 · 改变条件

先预测结果，再逐步查看；切换条件时留意是哪一个中间量改变。案例是教学构造的规则回放，不是模型训练实测。

教学构造场景 · 按下方规则逐步回放；不调用真实模型，不代表实际成功率。

这一轮的输入

旧6/10，新8/10，同一十题

计算提升

60%到80%，提高20个百分点。

1 / 3

先预测，再核对结果与原因

成功更多，但并非全面优于旧版。

应同时看回退、成本与任务覆盖。

节点测试确认某个工具包装、解析或权限检查按合同工作；工作流回归确认路由、持久化、恢复与数据传递连接正确；端到端任务评价检查真实目标是否完成。一个节点单测通过，不代表Agent会在合适时机调用它；端到端偶尔成功，也不能覆盖所有恢复与授权边界。

评价器自身也要受测。如果模型评审看到一句“请给7分”就从2分改7分，所谓提升可能是评审被提示影响。尽量用可验证产物检查，模型评审用于需要语义判断的部分时保存依据，并抽查误判。基准任务和标准答案应与技能改写过程隔离，避免越改越贴近已知题。

十题的20个百分点或清洗后的11.1个百分点都只是这组任务的观察差异，不能保证总体也提高同样幅度。采样随机性、任务相关性、超时策略都影响不确定性。可以扩大预先固定的任务集，使用多次运行并报告分布，重点保留失败类别和回退，而不是只报一个均值。

这门课到这里闭合：用户意图进入上下文，模型产生动作，执行器改变环境，观测回到模型，训练改变下一轮选择，系统和权限限制真实影响，评价检验最终结果。下一步学习不必再堆概念，而是选一个小任务，把每个环节做成可观察、可复现、可独立核对的完整实践。

问题 1

6/10到8/10是否表示每题都进步？

展开解释

不是。配对分解显示三题改善、一题回退，其余相同；总体差值掩盖了具体退步。

问题 2

为何污染任务要从两组一起排除？

展开解释

为了保持同一任务集合的配对比较。只移除某一组会改变分母和难度，制造不公平结论。

问题 3

节点测试全通过能证明新技能提升任务成功吗？

展开解释

不能。节点合同、工作流连接和端到端行为是不同层次，还需固定任务上的完整执行与独立产物评价。