Codex 技能与工作工具的设计

摘要

反复将同类工作交给 Codex 时,可以事先明确用哪些工具执行,以及怎样复核结果。

  • GitLab 议题新增了 9 种操作情形和 10 项实现后的检查。使用的模型相同,变化涉及技能中的写作规则、示例和复核方法。
  • 查询 CloudStack 上的同一批部署时,显式指定仅使用 API 的技能后,Codex 在未打开浏览器的情况下完成了查询和报告。
  • 比较工作结果时,可以记录首次结果能否直接使用,以及完成修改和复核的耗时。
四个步骤:指定工作、查询当前状态、执行要求的修改,再查询结果。
读取目标及其状态,执行所请求的修改,再重新查询同一目标。

使用技能和工具的案例

在重复工作中,我们考察了两个问题。

  • 如果在技能中写明阅读与编写功能请求的先后步骤,实施人员需要的条件是否更少遗漏?
  • 如果事先指定工具及允许的使用范围,能否按要求的方法取得所需的结果?

工具和技能各有什么用

GitLab API 是用来查找和登记议题,以及重新读取已保存内容的工具。何时查找已有议题、功能请求需要写什么、发布后要核对什么,可以写入技能。在 SKILL.md 中描述工作方法,有需要时还可以附上写作模板或执行脚本。OpenAI 技能文档

组成编写 GitLab 议题的示例
工具查询议题列表、登记或修改正文、重新查询保存结果
技能查找重复议题、阅读相关代码、写明各项操作的预期行为、核对发布结果
单次请求目标项目、要修改的功能、需要草稿还是直接登记

按议题编号重新读取已保存的正文,或检查附件链接能否打开,可以交给脚本。解释用户请求,发现与现有代码不一致的地方,由 Codex 完成。技能中应写明各步骤读取哪些输入,以及传给下一步什么。

对比 GitLab 议题的两个版本

该请求要求先停用项目或组,再执行删除,并且只在所有已部署的服务停止后才允许停用。我们用相同的模型和推理设置编写了同一议题的初稿和修改稿。首次编写也使用了登记议题的技能。

正文包含的信息首次编写修改后
请求与适用范围请求摘要和 4 项条件项目和组各自的条件、现有行为和需修改的部分
用户操作0 种操作情形9 种操作情形,分别说明发生条件、用户操作和预期结果
实现后的检查0 项检查10 项实现后要检查的事项
原正文列出 4 项条件。修改后分别写明部署正在运行、部署已经停止和无法读取状态时的预期行为。
修改后的议题包含九种操作情形,以及实现后需要检查的十个事项。

修改后的议题具体说明了开发者需要实现的行为。

  • 当组内还有任何部署在运行时,阻止停用,并报告哪些项目中的哪些服务仍在运行。
  • 分别写明没有部署、服务停止失败和无法读取运行状态时的处理方式。
  • 将现有项目标记为启用时,只更新项目的管理状态,并保留已部署服务的运行状态。

原技能包含通过 API 查找并发布议题所需的步骤。修改时,我们补充了编写功能请求的规则,也使用了用户选定的示例议题和项目代码,并对草稿进行了单独审阅。要单独测量技能指引的效果,需要使用相同资料和审阅方法,仅调整技能版本。

通过哪些方式查询 CloudStack 部署

我们在两种环境中查询了公司内部 CloudStack 中同一个项目的部署和 IP 地址。

  • 第一次执行在几分钟内通过 API 找到了 1 个项目、5 个标记为运行中的部署,以及 4 个与配置一致的已分配 IP 地址。Codex 接着打开了管理界面。用户要求只用 API 后,本次执行停止。
  • 在另一台 Mac 上执行时,我们直接指定了 CloudStack 技能。Codex 通过 API 读取相同的部署和 IP 地址,将结果整理为表格,并标明了没有 IP 地址的部署。

两次执行的差别在于是否通过指定的 API 路径完成了报告。首次执行也在几分钟内完成了 API 查询。总耗时还受到执行环境、浏览器调查和是否停止执行的影响。要比较耗时,应在相同环境下重复查询,并测量从发出请求到复核结果所用的时间。

管理 API 返回的部署状态无法说明网页能否访问,或应用内部能否建立连接。在另一次配置调查中,我们通过管理 API 查看部署和 IP 地址,再用用户授权的只读 SSH 检查数据库连接。GitLab 议题也通过 API 登记,只有用户单独要求签发令牌时才用了浏览器。为每种目的写明使用途径及其可读取的信息,可以减少不必要的查询。

为重复工作设计工具

  1. 找出重复的操作。 在工作记录中查找反复查询、比对或执行的地方。
  2. 从经常需要人工参与的操作入手。 查看重复次数、耗时、需要手动检查的事项,以及失败后要重做的工作。
  3. 用一句话写明输入和结果。 例如,接收项目名称,返回部署状态和已分配的 IP 地址。
查询工具根据项目标识符读取部署和 IP 地址。重启工具根据部署标识符与修改权限执行操作,再查询状态。
即使连接的是同一个 API,查询和重启所需的输入与权限也不同。
工作工具执行的操作需要复核的结果
查看项目状态读取项目、部署和已分配的 IP 地址各部署的状态、IP 地址是否匹配、哪些项尚未配置
重启服务重启指定部署,再查询状态请求是否接收、后续状态、已测试的访问操作
登记 GitLab 议题查找、登记和重新查询议题议题编号、保存的正文、能否打开附件
检查课程练习运行练习笔记本的代码单元,并比对输出失败的代码单元、预期值和实际值

查询和修改可以使用同一套 API 连接代码,但调用的操作应分别定义。

  • 查询接收项目名称或 ID。重启需要准确的部署 ID 和修改权限。
  • 遇到名称重复、目标不存在、权限不足或只读取到部分列表时,应在结果中标明状态。
  • 发出修改请求后如果连接断开,先重新读取目标,确定修改是否已经生效,再决定是否重试。

创建一个工具,接收项目名称并读取部署及已分配的 IP 地址。有多个同名项目时返回候选项。没有地址时标明未配置。分别测试正常查询、名称重复和权限不足。

应写入技能的工作方法

如果曾多次提出相同的修改请求,可以把反复解释的内容写入技能。

  • 在 GitLab 议题中,写明允许或阻止功能的条件,以及用户会看到的结果。
  • 制作课程材料时,查看前几周的练习及解答文件,运行新的解答代码并对照预期输出。
  • 提出视频制作请求时,分别写明点击生成以提交任务,以及接收和交付成品视频这两个步骤。

在技能中写明适用的工作、需要读取的资料、允许的修改和检查完成的方法。在新对话中分别执行正常请求、目标不明确的请求,以及只需查询的请求。

Codex 可以在请求直接指定了技能,或任务内容符合技能描述时加载技能。在 CLI 和 IDE 扩展中,用 $技能名称直接指定。若要让 Codex 自动选择,可在描述中写明适用工作与范围。我们将内部 CloudStack 技能设置为 allow_implicit_invocation: false,使其仅在直接指定时加载。OpenAI 技能调用文档

如何比较不同用户的工作结果

针对团队的重复工作,可以把工作方法写入一项共用技能。个人任务所需的步骤可另行添加。要共用同一工具,也需要对齐执行环境和账户权限。

若要了解个人之间的差异,可以使用相同的模型和工作资料,对比未使用技能、使用团队共用技能及使用个人技能时的结果。

  • 首次结果能否直接使用? 记录无需修改便实际使用的任务占比。
  • 补充了几次指令? 统计人工为补充遗漏或纠正错误操作发送的指令数量。
  • 完成任务用了多长时间? 从首次请求开始计时,直到复核和返工结束。

GitLab 案例更具体地说明了需要实现的行为。CloudStack 案例按要求的 API 路径完成了报告。要判断不同用户的效率差异,需要多位参与者在相同条件下重复工作。

系列总览 · Codex 的使用方式如何影响工作结果

“Codex 技能与工作工具的设计”에 대한 한개의 댓글

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.