概要
AIに最初に何を任せるかは、利用者がどのような用途を想定するかに左右される。途中の結果を使ってみると、次に任せる作業が変わることがある。 構成図の資料室と外部機関の資料連携で、依頼がどう変わったかを比較した。
- 構成図の資料室では、順位付きの一覧を開いた後で、検索・登録・ダウンロードができるサービスへと依頼が広がった。
- 外部機関の資料連携では、既存の管理画面を調べた後、変更が必要なファイルを減らす案を作成した。
- 次の依頼を決めるときは、実際の資料の一部で小さく試し、どこまで動くかを確かめる。

評価一覧から社内の資料室へ
最初の依頼は、保有する発表資料からシステム構成図を探し、評価して順位を付けることだった。Codexは2,331件のPowerPointファイルを調べ、1,389件の構成図を評価した。順位はExcelで、図はHTMLで閲覧できるようにした。HTMLには検索、並べ替え、拡大の機能と、元のスライドの位置も含めた。
- 最初に必要だった操作は、評価した図を開き、他の図と比較することだった。
- 次に必要になった操作は、メンバーが検索して元ファイルをダウンロードし、管理者が新しい資料を登録することだった。
一覧からチームの資料室に変わると、ログインと資料の登録・ダウンロードが必要になった。デプロイ用APIでファイルを送信できなかったため、サーバーでソースをビルドした。構成図1,389件と元の発表資料1,014件を登録し、管理者のログインとダウンロードを試した。一般利用者の権限は別に点検した。
費用分析の作業にも同じような流れがあった。アカウントの記録を分析し、その結果をレポートとWordPressの記事にした。公開後に比較の単位を修正する過程で、次の記事にも使える手順が具体化された。下書きの保存、添付ファイルのリンク、保存結果の再取得の方法をスキルに残した。公開した費用分析の記事
既存の機能を使って実装範囲を調整する
外部機関の資料を連携する際、当初は収集から移管までをスクリプトで処理する方法を検討した。管理画面とコードを調べると、既存の画面で処理できる工程があった。
- 既存の画面でできることは、機関の登録と承認、収集スケジュールの設定、項目の対応付け、収集の依頼と移管だった。
- 別途必要な作業は、機関ごとの変換コード、デプロイ、検索インデックスの作成だった。
調査を踏まえ、変更するファイルを39件から11件に減らす案を作成した。11件は縮小案に含まれるファイル数である。適用と、収集から検索までの再実行は残っていた。

資料室の事例では、結果を使った後で必要な機能が増えた。資料連携の事例では、既存の機能を把握した後、新たに作る範囲を絞った。会話から読み取れるのは、依頼と成果物がどう変わったかである。利用者が当初どのような可能性を考えていたかは、記録に残っていない。
目標を決め、解決方法を探す
OneDriveの復旧依頼には、ファイルをどこで探し、どう保管するかは書かれていなかった。Codexは新しいファイルをアップロードできても同期の保留が残ることから、共有フォルダーを調べた。Finderに表示されないファイル9件を退避し、フォルダーに接続し直した後、保留が18件から0件に減り、実際にアップロードとダウンロードができるかを試した。解決する問題を指定すると、エージェントは作業中に得た情報を使って、次の調査方法を変えられる。
実行範囲を明確にする必要があった例もある。サーバーごとにGitリポジトリを更新しても既存のインストールスクリプトが動くか尋ねたところ、Codexは可否を答える前にスクリプトを変更した。質問の範囲を伝え直すと、パスを合わせれば既存のスクリプトも使えるとの回答が得られた。調査だけが必要なときは、比較する方法と変更を始める時点まで依頼に書いておくとよい。

実際の資料で委任できる範囲を確かめる
Bansalらの研究では、人がAIの予測を見て判断する場面を扱った。AIがどのような入力で間違いやすいかを把握することが、協業の成果に影響し得ると分かった。コンサルタントがGPT-4を使った別の実験では、モデルが苦手とした課題で、AIを使ったグループの正答率は使わなかったグループより平均19パーセントポイント低かった。この2つの研究はCodexへの委任とは実験条件が異なる。実際に任せる仕事を選び、その結果を確かめる必要があるのは、こうした違いがあるためである。Beyond Accuracy・Navigating the Jagged Technological Frontier
- 誰が何をするかを書く。 構成図を整理するなら、メンバーが翌月も図を検索し、元のスライドをダウンロードできる必要があるかを決める。
- 使えるツールを調べる。 画面、API、リポジトリで何を読み取り、変更できるかを確認する。
- 数件の実際の資料で試す。 いくつかの発表資料で検索とダウンロードを試すか、1機関分の連携手順を開発用の画面で実行する。
- テスト結果を次の依頼に使う。 繰り返せる手順をスキルに残し、失敗した工程に別のツールや人の対応が必要かを判断する。
チームのメンバーが翌月も同じ資料を検索し、元ファイルをダウンロードできるようにしてください。接続されているツールと権限で可能な方法を調べ、既存システムを使う場合と新しく作る場合に必要な作業を比較してください。まず資料1件で試す方法を提案してください。元ファイルや本番環境の設定の変更は、方法を決めてから進めてください。
利用者が想定する活用範囲が実際の成果にも影響するかを調べるには、複数の利用者に同じモデルとツールを提供し、一部の利用者にだけ実際のテスト結果を先に見せて、その後の依頼の範囲と完了率を比較できる。

“AIの活用範囲と業務の委任”에 대한 한개의 댓글