摘要
反复将同类工作交给 Codex 时,可以事先明确用哪些工具执行,以及怎样复核结果。
- GitLab 议题新增了 9 种操作情形和 10 项实现后的检查。使用的模型相同,变化涉及技能中的写作规则、示例和复核方法。
- 查询 CloudStack 上的同一批部署时,显式指定仅使用 API 的技能后,Codex 在未打开浏览器的情况下完成了查询和报告。
- 比较工作结果时,可以记录首次结果能否直接使用,以及完成修改和复核的耗时。

使用技能和工具的案例
在重复工作中,我们考察了两个问题。
- 如果在技能中写明阅读与编写功能请求的先后步骤,实施人员需要的条件是否更少遗漏?
- 如果事先指定工具及允许的使用范围,能否按要求的方法取得所需的结果?
工具和技能各有什么用
GitLab API 是用来查找和登记议题,以及重新读取已保存内容的工具。何时查找已有议题、功能请求需要写什么、发布后要核对什么,可以写入技能。在 SKILL.md 中描述工作方法,有需要时还可以附上写作模板或执行脚本。OpenAI 技能文档
| 组成 | 编写 GitLab 议题的示例 |
|---|---|
| 工具 | 查询议题列表、登记或修改正文、重新查询保存结果 |
| 技能 | 查找重复议题、阅读相关代码、写明各项操作的预期行为、核对发布结果 |
| 单次请求 | 目标项目、要修改的功能、需要草稿还是直接登记 |
按议题编号重新读取已保存的正文,或检查附件链接能否打开,可以交给脚本。解释用户请求,发现与现有代码不一致的地方,由 Codex 完成。技能中应写明各步骤读取哪些输入,以及传给下一步什么。
对比 GitLab 议题的两个版本
该请求要求先停用项目或组,再执行删除,并且只在所有已部署的服务停止后才允许停用。我们用相同的模型和推理设置编写了同一议题的初稿和修改稿。首次编写也使用了登记议题的技能。
| 正文包含的信息 | 首次编写 | 修改后 |
|---|---|---|
| 请求与适用范围 | 请求摘要和 4 项条件 | 项目和组各自的条件、现有行为和需修改的部分 |
| 用户操作 | 0 种操作情形 | 9 种操作情形,分别说明发生条件、用户操作和预期结果 |
| 实现后的检查 | 0 项检查 | 10 项实现后要检查的事项 |

修改后的议题具体说明了开发者需要实现的行为。
- 当组内还有任何部署在运行时,阻止停用,并报告哪些项目中的哪些服务仍在运行。
- 分别写明没有部署、服务停止失败和无法读取运行状态时的处理方式。
- 将现有项目标记为启用时,只更新项目的管理状态,并保留已部署服务的运行状态。
原技能包含通过 API 查找并发布议题所需的步骤。修改时,我们补充了编写功能请求的规则,也使用了用户选定的示例议题和项目代码,并对草稿进行了单独审阅。要单独测量技能指引的效果,需要使用相同资料和审阅方法,仅调整技能版本。
通过哪些方式查询 CloudStack 部署
我们在两种环境中查询了公司内部 CloudStack 中同一个项目的部署和 IP 地址。
- 第一次执行在几分钟内通过 API 找到了 1 个项目、5 个标记为运行中的部署,以及 4 个与配置一致的已分配 IP 地址。Codex 接着打开了管理界面。用户要求只用 API 后,本次执行停止。
- 在另一台 Mac 上执行时,我们直接指定了 CloudStack 技能。Codex 通过 API 读取相同的部署和 IP 地址,将结果整理为表格,并标明了没有 IP 地址的部署。
两次执行的差别在于是否通过指定的 API 路径完成了报告。首次执行也在几分钟内完成了 API 查询。总耗时还受到执行环境、浏览器调查和是否停止执行的影响。要比较耗时,应在相同环境下重复查询,并测量从发出请求到复核结果所用的时间。
管理 API 返回的部署状态无法说明网页能否访问,或应用内部能否建立连接。在另一次配置调查中,我们通过管理 API 查看部署和 IP 地址,再用用户授权的只读 SSH 检查数据库连接。GitLab 议题也通过 API 登记,只有用户单独要求签发令牌时才用了浏览器。为每种目的写明使用途径及其可读取的信息,可以减少不必要的查询。
为重复工作设计工具
- 找出重复的操作。 在工作记录中查找反复查询、比对或执行的地方。
- 从经常需要人工参与的操作入手。 查看重复次数、耗时、需要手动检查的事项,以及失败后要重做的工作。
- 用一句话写明输入和结果。 例如,接收项目名称,返回部署状态和已分配的 IP 地址。

| 工作 | 工具执行的操作 | 需要复核的结果 |
|---|---|---|
| 查看项目状态 | 读取项目、部署和已分配的 IP 地址 | 各部署的状态、IP 地址是否匹配、哪些项尚未配置 |
| 重启服务 | 重启指定部署,再查询状态 | 请求是否接收、后续状态、已测试的访问操作 |
| 登记 GitLab 议题 | 查找、登记和重新查询议题 | 议题编号、保存的正文、能否打开附件 |
| 检查课程练习 | 运行练习笔记本的代码单元,并比对输出 | 失败的代码单元、预期值和实际值 |
查询和修改可以使用同一套 API 连接代码,但调用的操作应分别定义。
- 查询接收项目名称或 ID。重启需要准确的部署 ID 和修改权限。
- 遇到名称重复、目标不存在、权限不足或只读取到部分列表时,应在结果中标明状态。
- 发出修改请求后如果连接断开,先重新读取目标,确定修改是否已经生效,再决定是否重试。
创建一个工具,接收项目名称并读取部署及已分配的 IP 地址。有多个同名项目时返回候选项。没有地址时标明未配置。分别测试正常查询、名称重复和权限不足。
应写入技能的工作方法
如果曾多次提出相同的修改请求,可以把反复解释的内容写入技能。
- 在 GitLab 议题中,写明允许或阻止功能的条件,以及用户会看到的结果。
- 制作课程材料时,查看前几周的练习及解答文件,运行新的解答代码并对照预期输出。
- 提出视频制作请求时,分别写明点击生成以提交任务,以及接收和交付成品视频这两个步骤。
在技能中写明适用的工作、需要读取的资料、允许的修改和检查完成的方法。在新对话中分别执行正常请求、目标不明确的请求,以及只需查询的请求。
Codex 可以在请求直接指定了技能,或任务内容符合技能描述时加载技能。在 CLI 和 IDE 扩展中,用 $技能名称直接指定。若要让 Codex 自动选择,可在描述中写明适用工作与范围。我们将内部 CloudStack 技能设置为 allow_implicit_invocation: false,使其仅在直接指定时加载。OpenAI 技能调用文档
如何比较不同用户的工作结果
针对团队的重复工作,可以把工作方法写入一项共用技能。个人任务所需的步骤可另行添加。要共用同一工具,也需要对齐执行环境和账户权限。
若要了解个人之间的差异,可以使用相同的模型和工作资料,对比未使用技能、使用团队共用技能及使用个人技能时的结果。
- 首次结果能否直接使用? 记录无需修改便实际使用的任务占比。
- 补充了几次指令? 统计人工为补充遗漏或纠正错误操作发送的指令数量。
- 完成任务用了多长时间? 从首次请求开始计时,直到复核和返工结束。
GitLab 案例更具体地说明了需要实现的行为。CloudStack 案例按要求的 API 路径完成了报告。要判断不同用户的效率差异,需要多位参与者在相同条件下重复工作。

“Codex 技能与工作工具的设计”에 대한 한개의 댓글