如何决定把哪些工作委托给 AI

摘要

最初交给 AI 的工作受用户对用途的预期影响。试用中间成果之后,接下来要委托的工作可能会发生变化。 本文比较架构图资料库和外部机构资料接入这两项工作中的需求变化。

  • 架构图资料库的需求在试用排名列表后,扩大为可搜索、添加和下载资料的服务。
  • 外部机构资料接入的工作在调查现有管理界面后,形成了减少改动文件的方案。
  • 确定下一项请求时,先拿少量实际资料进行试验,查看哪些环节能够运行。
先明确用户所需的结果,再拿少量实际资料试验,最后把验证过的范围用于下一项请求。
先用几份资料试运行,再把可用的部分纳入下一项请求。

从排名列表扩展为团队资料库

最初的请求是从已有的演示文稿中查找系统架构图,进行评价和排名。Codex 检查了 2,331 个 PowerPoint 文件,评估了 1,389 张架构图。排名可在 Excel 中查看,图片可在 HTML 页面中查看。HTML 页面还支持搜索、排序、放大,并标明原始幻灯片的位置。

  • 最初需要的操作是打开评估过的图片,并与其他图片比较。
  • 后续需要的操作是让团队成员可以搜索和下载原件,让管理员可以上传新资料。

从列表改为团队资料库后,需要增加登录、添加资料和下载功能。部署 API 无法传输文件,因此在服务器上构建了源代码。我们添加了 1,389 张架构图和 1,014 份原始演示文稿,测试了管理员登录和下载,并另外检查了普通用户权限。

费用分析工作也有类似的变化。我们用账户记录得出分析结果,并将结果写成报告和 WordPress 文章。发布后修正对比单位的过程中,形成了下篇文章也能使用的工作步骤。我们把保存草稿、添加附件链接和重新读取保存结果的方法写入技能。已发表的费用分析文章

复用现有功能以缩小实现范围

接入外部机构资料时,最初考虑用脚本处理从采集到迁移的全过程。查看管理界面和代码后,发现部分步骤可以在现有界面完成。

  • 现有界面可以完成的工作包括登记并审批机构、设置采集日程、建立字段映射,以及发起采集和执行迁移。
  • 需要另行完成的工作包括针对各机构编写转换代码、部署和建立搜索索引。

根据调查结果,我们提出将需要改动的文件数从 39 个减到 11 个。11 是缩减方案涉及的文件数。应用方案并重新运行从采集到搜索的全部流程,仍有待进行。

架构图工作从排名列表扩展到资料库。资料接入工作在调查现有界面后,形成了把改动文件从 39 个减到 11 个的方案。
资料库已部署。将改动文件从 39 个减到 11 个,是资料接入工作的待实施方案。

在资料库案例中,试用结果后增加了所需功能。在资料接入案例中,了解已有功能后减少了新开发的部分。对话记录可以说明请求和交付成果如何改变,未记载用户最开始设想了哪些可能性。

明确目标,再探索解决办法

OneDrive 恢复请求未指定到哪里寻找文件,也未说明如何保存。Codex 发现新文件上传成功后仍有待同步项,于是调查了共享文件夹。它备份 Finder 中看不到的九个文件,重新连接文件夹,检查待同步项目是否从 18 个降至 0,并测试了实际的上传和下载。给出需要解决的问题后,智能体可以根据执行时获得的信息改变下一步的调查方法。

还有一个案例表明,执行范围也需要明确。用户问按服务器分别更新 Git 仓库后,旧安装脚本是否还能运行,Codex 在回答可行性之前便修改了脚本。用户重新说明问题后,得知只要对齐路径,旧脚本也可使用。对于只需调研的工作,可以在请求中写明要比较哪些方案,以及何时可以开始改动。

用户设定目标和修改权限,智能体用获准的工具调查并测试可行方法。
在调查阶段了解可行方案和所需权限。确定采用哪种办法后,再执行修改。

用实际资料试验可以委托的范围

Bansal 等人的研究考察了人如何借助 AI 的预测作出判断。了解 AI 容易在哪些输入上出错,可能会影响协作结果。在另一项让顾问使用 GPT-4 的实验中,模型难以完成的任务上,使用 AI 的组正确率平均比未使用组低 19 个百分点。这两项研究的条件与 Codex 委托实验不同。因此,有必要选择将要委托的实际工作来验证结果。Beyond Accuracy · Navigating the Jagged Technological Frontier

  1. 写明谁需要做什么。 整理架构图时,确定团队成员下个月是否还需搜索图片并下载原始幻灯片。
  2. 查看有哪些工具可用。 了解可以通过界面、API 或仓库读取或修改哪些内容。
  3. 用少量实际资料试验。 用几份演示文稿试验搜索和下载,或者在开发环境的界面上操作一次某家机构的接入流程。
  4. 将试验结果用于下一项请求。 把可重复的步骤写进技能,判断失败的步骤是否需要其他工具或人员。

团队成员下个月仍需能搜索同一批资料并下载原件。请调查用已连接的工具和已有权限可以采用哪些方法,比较沿用现有系统与新建系统分别需要做什么。请先提出用一份资料进行试验的方法,再在选定方案后改动原件或生产配置。

若要判断用户对适用范围的预期是否会影响实际成效,可以给多位用户提供同样的模型和工具,只让部分人先看到实际试验结果,再比较他们后续请求的范围与完成率。

系列总览 · Codex 的使用方式如何影响工作结果

“如何决定把哪些工作委托给 AI”에 대한 한개의 댓글

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.