摘要
即使采用相同的模型,交给智能体的工作和检查结果的方式也会影响工作结果。 本文通过 Codex 工作记录说明技能、执行中的指令和完成检查对实际结果的影响。
- 技能中写明使用哪些工具,以及提交前需要检查什么。
- Steer用于调整正在进行的任务,后续工作放入 Queue。
- 完成检查时,重新读取文件以确认是否保存,并直接测试用户需要执行的操作。

重复工作所需的工具和步骤
我们用相同的模型和推理设置,两次编写了同一条 GitLab 议题。最初登记的版本只有请求摘要和四项条件。第二次先查看示例议题和相关代码,再把应当允许或阻止功能的条件写入技能。我们还加入了登记后重新读取内容的步骤。
- 首次登记的议题写明了要改动的功能及适用条件。
- 修改后的议题写明了九种用户操作情形,以及实现后需要检查的十个事项。
例如,当组内仍有服务在运行时,系统应阻止停用,并报告哪些项目中还有哪些服务在运行。第二次编写时,除了修改技能,还查看了示例议题、调查了代码并审阅了草稿。要判断仅改变技能是否会带来相同差异,还需控制任务输入和审阅步骤。
GitLab API 用于登记议题并重新读取已保存的内容。技能则写明要查看哪些议题和代码、正文要列出哪些条件,以及登记后要检查什么。在公司内部的 CloudStack 中,查询部署列表和重启服务也需要不同的输入和权限。把操作拆小,就能清楚辨别每项工作需要什么工具。OpenAI 技能文档

执行中的调整和后续任务
在 WordPress 发布费用分析文章时,发布前最后一刻收到修改下载链接文案的请求。Codex 返回编辑页面修改文案,并在同一次执行中发布了文章。费用比较的单位错误则在发布后才被发现。为此,Codex 启动新的执行,修改表格和结论并更新了公开版本。
- Steer用于把新条件加入正在制作的成果,例如在发布前修改文章文案。
- Queue存放应在当前任务结束后开始的请求。一次正在修正出勤率时,用户提出另设咨询留言板,这项请求留在了队列中。
修改链接文案和重新计算费用的工作量不同。两次记录可用来对照的是修改发生在哪个阶段。若要测量节省的时间,需要在同一任务中发送相同的修改指令,只更换指令的送达方式。费用分析文章 · OpenAI 的 Steer 与 Queue 说明
检查用户能否完成所需操作
- 在 OneDrive 中,测试文件上传到服务器后,仍有 18 个项目等待同步。先备份九个本地文件,再重新连接共享文件夹,待同步项目数降至 0。之后又测试了上传和下载。
- 在架构图资料库中,管理员可以登录和下载原件。普通用户仍遇到登录错误,因此修改了权限。随后分别验证了普通用户浏览和管理员编辑。
成功上传一个新文件或完成管理员登录,只能说明这项被测试的操作可用。判断工作是否完成,要看原请求中的用户能否做成所需的事。

中间成果如何改变后续请求
一项工作原本是从演示文稿中挑选架构图并整理成 Excel 和 HTML,后来发展为建设团队资料库。打开列表试用后,新增了团队成员搜索及下载原件、管理员上传资料等需求。在接入外部机构资料的工作中,调查现有管理界面后提出了减少改动文件的方案。查看中间成果,可以更具体地确定下一项请求会涉及哪些人和操作。
如何比较工作结果
要比较不同使用方式,可以在模型和权限相同的情况下反复执行类似的工作。让多位参与者改变是否使用技能与传达指令的方式,并记录以下事项。
- 首次交付的结果是否符合所要求的操作和格式?
- 人工干预的次数和时间各是多少?
- 完成任务耗时多少?从提出请求计到复核和返工结束。
一项覆盖 5,172 名客服人员的研究发现,引入 AI 辅助后,每小时解决的问题数量平均增加 15%,而经验较少的客服人员提升更大。这是客户支持场景中的观察结果。可用上述方法比较,共用技能能否缩小 Codex 用户之间的差异。Generative AI at Work

“Codex 的使用方式如何影响工作结果”에 대한 한개의 댓글