Codexの使い方による作業成果の違い

概要

同じモデルを使っても、エージェントに任せる作業と結果の確かめ方によって、作業成果は変わり得る。 Codexの作業記録から、スキル、実行中の指示、完了時の確認が実際の結果にどう反映されたかを見る。

  • スキルには、使用するツールと、何を確認して作業を終えるかを記す。
  • Steerは、進行中の作業を修正するときに使う。続けて行う作業はQueueに入れる。
  • 完了時の確認では、保存されたファイルを読み、利用者が行う予定の操作を実際に試す。
ツールと権限の指定、実行中の修正、利用者が行う操作の検証という3つの段階。
作業のたびに確認する項目はスキルに記録し、次の依頼でも使う。

繰り返す作業に必要なツールと手順

GitLabの同じイシューを、モデルと推論設定をそろえて2回作成した。最初に登録した文面には、依頼の要約と4つの条件があった。2回目はイシューの例と関連コードを調べ、機能を許可する条件と制限する条件をスキルに記した。登録後の内容を読み直す手順も加えた。

  • 最初に登録したイシューには、変更する機能と適用条件を書いた。
  • 修正したイシューには、利用者が操作する9つの場面と、実装後に確認する10項目を書いた。

例えば、グループ内に稼働中のサービスが残っている場合は無効化を止め、どのプロジェクトのどのサービスが残っているかを知らせるようにした。2回目はスキルの修正に加え、イシューの例の参照、コードの調査、下書きのレビューも行った。スキルだけを変えた場合に同じ差が出るかを調べるには、入力とレビューの手順をそろえる必要がある。

GitLab APIでイシューを登録し、保存された内容を読み直す。スキルには、参照するイシューやコード、本文に書く条件、登録後の点検項目を記す。社内のCloudStackでも、デプロイ一覧の参照とサービスの再起動では必要な入力や権限が異なる。操作を細かく分けると、作業ごとに使うツールが明確になる。OpenAIのスキルに関する文書

Codexが依頼に応じて、GitLabのイシュー、CloudStackの管理、講義資料の点検に使うツールを選ぶ図。
イシューの登録はGitLab API、デプロイ一覧の参照はCloudStack APIで行う。実習資料はノートブックを実行して確かめる。

実行中の修正と後続の作業

WordPressに費用分析の記事を載せる際、公開直前にダウンロードリンクの文言を変える依頼が入った。Codexは編集画面に戻って文言を修正し、同じ実行の中で記事を公開した。費用比較に使った単位の誤りは公開後に見つかった。この修正は新しい実行で行い、表と結論を直して公開版を更新した。

  • Steerは、作成中の成果物に新しい条件を反映するときに使う。記事を公開する前の文言修正がこれに当たる。
  • Queueには、現在の作業が終わってから着手する依頼を入れる。出席率を修正しているときに別の問い合わせ掲示板を依頼したところ、その依頼はキューに残った。

リンクの文言修正と費用の再計算では作業量が異なる。この記録から比較できるのは、それぞれをどの段階で修正したかである。短縮できた時間を知るには、同じ作業に同じ修正内容を伝え、指示の渡し方だけを変えて試す必要がある。費用分析の記事・OpenAIによるSteerとQueueの説明

利用者が行う操作と完了時の確認

  • OneDriveでは、テストファイルをサーバーにアップロードした後も、18件が保留のままだった。ローカルのファイル9件を退避して共有フォルダーに接続し直すと、保留が0件になった。その後、アップロードとダウンロードの両方を試した。
  • 構成図の資料室では、管理者のログインと元ファイルのダウンロードに成功した。一般利用者のログインエラーが残っていたため権限を修正し、その後、一般利用者の閲覧と管理者の編集を別々に試した。

新規ファイル1件のアップロードや管理者のログインで分かるのは、その操作ができるかどうかである。作業の完了は、依頼した利用者が必要な操作を行えるかで判断する。

GitLabでは操作シナリオが0件から9件に、OneDriveでは保留が18件から0件になった。資料室では管理者のアクセスを試した後、一般利用者の権限を確認した。
操作シナリオ数、同期の保留件数、権限の点検結果は、各作業で個別に確認した値である。

途中の結果を見たあとに変わる依頼

発表資料から構成図を選んでExcelとHTMLに整理する作業は、チームの資料室づくりにつながった。一覧を開いてみると、チームのメンバーによる検索と元ファイルのダウンロード、管理者による新規資料の追加が必要になった。外部機関の資料を連携する作業では、既存の管理画面を調べた後、変更するファイルを絞る案が出た。途中の結果を自分で見ると、次の依頼で誰にどの操作が必要かを具体的に決められる。

作業成果を比較する方法

使い方による違いは、同じモデルと権限を用意し、似た作業を繰り返すと比較できる。複数の人がスキルの有無と指示の渡し方を変えて試し、次の項目を記録する。

  • 最初の結果は依頼した動作と形式を満たしたか。
  • 人が介入した回数と時間はどれくらいか。
  • 完了までの時間は、依頼からレビューと手直しまで含めてどれくらいか。

顧客サポートの担当者5,172人を対象とした研究では、AIによる補助を導入した後、1時間当たりの解決件数が平均15%増えた。経験の浅い担当者ほど伸び幅が大きかった。この値は顧客サポートで観測したものである。Codexでも共通のスキルを使うと利用者間の差が縮まるかは、同じような比較で調べられる。Generative AI at Work

連載記事

“Codexの使い方による作業成果の違い”에 대한 한개의 댓글

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.