摘要
将任务交给智能体时,先明确交付时用户应该能够完成的操作。检查结果并指出遗留问题,才能明确下一次尝试应当调整的部分。
- 分析部分成功的情况,缩小下一步的调查范围。
- 记录测试环境和测试采用的用户角色。
- 通过首次交付的结果和返工耗时,比较技能与执行中调整指令的效果。

可以把每次执行都要遵循的步骤和检查事项写入技能。执行中新增的条件通过 Steer 传达。本文提出的假设是,技能能减少首次交付中的遗漏,而 Steer 能减少为落实新条件而产生的返工。
从 OneDrive、架构图资料库和 ReviewOps 的工作记录,可以看出哪些检查改变了后续操作。要判断两项功能的效果有多大,需要在不同条件下比较相同的工作。
恢复 OneDrive 共享文件夹的同步
重启应用和 macOS 的文件同步服务后,测试文件上传到了服务器。原共享文件夹仍有 18 个项目等待同步。新文件能够上传,因此 Codex 进一步查找旧的待同步任务关联到了哪个文件夹。
服务器上的共享文件夹已经改为按年份整理,Mac 却在反复尝试删除旧文件夹和文件。Codex 先把 Finder 中看不到的 9 个文件另行备份,再重新连接共享文件夹的快捷方式。待同步项目从 18 个降至 0,上传和下载测试也均通过。

请分别检查新文件能否上传和下载,以及原有待同步项目留在哪里。如果需要重新连接共享文件夹,请先备份只留在此设备上的文件。更改连接后,请再次检查待同步项目数,并测试上传和下载。
部署到生产环境后验证用户操作
架构图资料库的登录和权限
我们创建了架构图资料库,并将源代码上传至生产服务器构建。通过比对 3,439 个文件的校验和,验证了副本与原件相符。管理员账户登录后可以打开架构图并下载原始演示文稿。随后,普通用户登录时看到的是错误页面。
我们调整了权限,使所有登录门户的用户都能打开和下载资料,将上传与编辑权限授予管理员。登录和权限的 6 项检查全部通过。
- 权限检查验证了普通用户可以查看资料,且无法编辑。
- 在生产网站上使用管理员账户重新登录,并返回列表。
在生产网站直接重新登录时,仅使用了管理员账户。记录测试结果时,应注明用户角色和所用环境,以说明实际验证的范围。
ReviewOps 更新后保留设置
发布 ReviewOps 1.7.0 时新增了一项更新条件。开启接收测试版的用户,在基础版本号相同的情况下,也应能更新到发布更晚的正式版。Codex 制作了用于验证切换的测试构建,并在装有测试版的用户配置中切换到了正式版。
重启后,接收测试版的设置和项目都得到了保留,旧测试版也未再次被推荐。两台独立电脑之间的恢复测试留待后续验证。ReviewOps 1.7.0 发布记录
重试和结束任务
提出更新请求时,应写明用户必须能够从旧版本更新到新版本,并在重启后打开设置与项目。如果是资料库,则分别指定普通用户和管理员能执行的操作。提前确定用于检查的文件、账户和环境,才能判断任务是否完成。
- 部分操作成功时。 记录成功的操作和仍然失败的操作。如果新文件能上传,但待同步列表没有变化,就调查系统在原共享文件夹中反复进行什么操作。
- 同样的失败反复发生时。 选择能让不同原因产生不同结果的检查。重新尝试同一种方法前,核对与上次相比有哪些条件发生了变化。
- 执行中需求变化时。 说明新条件会如何影响已经应用的修改或剩余任务。要落实到正在进行的任务中的条件用 Steer 传达,独立的后续工作放进队列。
- 测试环境不可用时。 写明已经测试的操作和剩余检查,再结束任务。如果保存时连接断开,应先查询实际保存状态,再决定是否重新提交修改。
请整理仍然失败的操作,选择并执行一项有助于分辨原因的检查。修改后,请重新测试最初要求用户能够执行的操作。如果还有一些检查必须在无法访问的环境中完成,请列出这些项目。
比较技能与 Steer 效果的实验
2025 年初,METR 将 16 名资深开源开发者完成的 246 项任务随机分组进行比较。在当时允许使用 AI 工具的任务中,完成时间平均长了 19%。METR 的开发者实验
在 2026 年的后续研究中,部分不愿在没有 AI 的情况下工作的参与者退出,改变了参与者的构成。研究也难以测量同时使用多个智能体的工作耗时。两项研究比较的是是否允许使用 AI。要了解 Codex 技能和 Steer 的效果,需要分别设置是否使用这些功能的条件。后续研究及测量限制
实验条件与补充指令的发送时机
| 工作步骤 | 队列 | Steer |
|---|---|---|
| 开始时不提供技能 | 以共同请求开始,补充指令交给下一次执行 | 以共同请求开始,补充指令交给正在进行的执行 |
| 开始时提供技能 | 以共同请求和技能开始,补充指令交给下一次执行 | 以共同请求和技能开始,补充指令交给正在进行的执行 |
多名参与者都完成四种条件下的任务。为每位参与者随机安排条件顺序,分配难度相近的工作,避免某类工作集中到特定条件。模型版本、设置、权限和工具保持一致。同一项任务在所有条件下使用相同的输入和初始状态。
补充指令使用相同措辞,并在同一工作阶段发出。例如,首次生成安装包时,新增更新后必须保留已有设置的要求。

首次结果、最终结果和返工
- 首次执行。 判断首次交付的结果是否满足各条件共同的初始要求。
- 最终结果。 判断补充要求是否也通过测试。分别记录从任务开始到通过测试的时间,以及人工实际投入的时间。
- 返工。 记录重复执行的步骤、修改次数和模型用量。
评审人员无需知道参与者身份及对应的实验条件。除完成率外,还要报告未在规定时间内完成的任务数。另行记录创建与维护技能花费的时间,和重复任务中节省的时间进行比较。
对同一参与者在不同条件下的结果做配对比较,可以减小个人工作速度差异的影响。也应比较提供技能与不提供技能时,Steer 分别对返工时间有多大影响。结果适用于参与实验的人和本次测试的任务。要判断其他工作是否也会出现差异,需要换用不同类型的工作重复实验。
