エージェント作業の完了条件と結果の検証

概要

エージェントに作業を任せるときは、最後にどの操作ができる必要があるかを先に決める。結果を確かめて残った問題を特定すると、次の試行で変える部分が明確になる。

  • 成功した部分から、次に調査する範囲を絞る。
  • どの環境で、どの権限の利用者として試したかを記録する。
  • 最初の結果と手直しにかかった時間で、スキルとSteerの効果を比較する。
ファイルやサービスを変更し、保存結果を読み直してから、利用者が実際に行う操作を試す。
保存した結果を読み直した後、利用者が行う予定の操作を実際に試す。

スキルには、作業のたびに守る手順や点検する項目を書ける。進行中に新しい条件が加わればSteerで伝える。この記事で検討する仮説は、スキルは最初の結果の抜けを減らし、Steerは新しい条件を反映するための手直しを減らすというものだ。

OneDrive、構成図の資料室、ReviewOpsの作業記録から、どの確認が次の対応を変えたかが分かる。2つの機能の効果の大きさを知るには、同じ作業を条件ごとに比較する必要がある。

OneDriveの共有フォルダーの同期を復旧する

アプリとmacOSのファイル同期サービスを再起動すると、テストファイルがサーバーにアップロードされた。既存の共有フォルダーには保留が18件残った。新規ファイルをアップロードできたため、Codexは以前から残る保留中の処理がどのフォルダーに関連しているかを調べた。

サーバーの共有フォルダーは年ごとに再編されていた。Macは古いフォルダーとファイルを削除する処理を繰り返していた。CodexはFinderに表示されないファイル9件を退避し、共有フォルダーのショートカットを接続し直した。保留は18件から0件になり、アップロードとダウンロードのテストも両方通過した。

再起動とテストアップロードの後も保留が18件残った。ファイル9件を退避し、フォルダーに接続し直すと、保留は0件になった。
ファイル9件を退避してからフォルダーに接続し直した。保留が0件になった後、アップロードとダウンロードを試した。

新しいファイルをアップロード・ダウンロードできるか、既存の保留項目がどこに残っているかをそれぞれ確認してください。共有フォルダーに接続し直す必要があれば、この端末だけに残るファイルを先に退避してください。接続を変更した後は、保留件数、アップロード、ダウンロードをもう一度確認してください。

本番へのデプロイ後に利用者の操作を試す

構成図の資料室へのログインと権限

構成図の資料室を作り、本番サーバーにソースを置いてビルドした。3,439件のファイルのチェックサムを照合し、コピーが元ファイルと一致するかを確認した。管理者アカウントでログインし、構成図を開いて元の発表資料をダウンロードした。その後、一般利用者がログインするとエラーページが表示された。

ポータルにログインした利用者なら誰でも資料を開いてダウンロードできるように権限を変更した。アップロードと編集は管理者に許可した。ログインと権限に関する6件のテストに合格した。

  • 一般利用者が資料を閲覧でき、編集はできないことは、権限のテストで確かめた。
  • 本番サイトでは管理者アカウントで改めてログインし、一覧に戻った。

本番サイトで改めてログインしたのは管理者アカウントだった。利用者の役割と環境を結果と合わせて記録することで、どこまで試したかが分かる。

ReviewOpsの更新後に設定が残ることを確かめる

ReviewOps 1.7.0のデプロイ中に、更新の条件を追加した。テスト版の受信を有効にしている利用者も、同じ基本バージョンで後から公開された正式版に更新できる必要があった。Codexは切り替え用のテストビルドを作成し、テスト版をインストールした利用者プロファイルから正式版へ移行した。

再起動後もテスト版の受信設定とプロジェクトは維持された。以前のテスト版は再び提示されなかった。物理的に別々の2台のPC間での復元は、後続の検証項目として残した。ReviewOps 1.7.0のリリース記録

再試行と作業の終了

更新作業を依頼する際は、利用者が旧バージョンから新バージョンに移行でき、再起動後に設定とプロジェクトを開ける必要があると書く。資料室であれば、一般利用者と管理者がそれぞれ行える操作を指定する。テストに使うファイル、アカウント、環境を合わせて決めておくと、完了したかを判断できる。

  • 一部の操作だけ成功した場合。 成功した操作と失敗が続く操作を記録する。新規ファイルはアップロードできても保留一覧が変わらなければ、既存の共有フォルダーで繰り返されている処理を調べる。
  • 同じ失敗が続く場合。 想定する原因によって結果が変わるテストを選ぶ。同じ方法で再試行するときは、前回と比べて何が変わったかを確かめる。
  • 実行中に要件が変わった場合。 新しい条件が、すでに反映した変更や残作業にどう影響するかを伝える。作業中の成果物に必要な条件はSteerで送り、独立した後続の作業はQueueに入れる。
  • テスト環境を使えない場合。 実際に試した操作と残ったテストを記録して終える。保存中に接続が切れた場合は、変更を再度依頼する前に、実際の保存状態を照会する。

どの操作がまだ失敗するかを整理し、原因を絞り込める次のテストを選んで実施してください。修正後は、最初に依頼した利用者の操作をもう一度試してください。アクセスできない環境で行うテストが残っている場合は、その項目を書いてください。

スキルとSteerの効果を比べる実験

METRは2025年初めに、熟練したオープンソース開発者16人の作業246件を無作為に振り分けて比較した。AIツールを使えた作業は、当時の実験では完了までに平均19%長くかかった。METRの開発者実験

2026年の追跡調査では、AIなしで作業することを望まない人が離脱し、参加者の構成が変わった。複数のエージェントを同時に使う作業は、所要時間の測定も難しかった。2つの調査が比較したのは、AIの利用を許可するかどうかである。CodexのスキルとSteerの効果を調べるには、各機能を使う条件を個別に設定する必要がある。追跡調査と測定上の限界

実験条件と追加の指示を出す時点

作業手順QueueSteer
スキルなしで開始共通の依頼で開始し、追加の指示は次の実行へ渡す共通の依頼で開始し、追加の指示は進行中の実行へ渡す
スキルを使って開始共通の依頼とスキルで開始し、追加の指示は次の実行へ渡す共通の依頼とスキルで開始し、追加の指示は進行中の実行へ渡す

複数の参加者が4つの条件をすべて実施する。条件を試す順番は参加者ごとに無作為に決め、難易度が近い作業を割り当てて、特定の作業が一つの条件に偏らないようにする。モデルのバージョン、設定、権限、ツールは固定する。同じ課題には、どの条件でも同じ入力と初期状態を使う。

追加の指示は同じ文面にし、同じ作業段階で送る。例えば、最初のインストール用ファイルができた時点で、更新後も既存の設定を保持するという要件を追加する。

同じモデルと初期状態で開始し、同じ作業段階で同じ修正指示を送り、最初の結果と最終結果を評価する。
スキルの有無と指示の渡し方を変えても、開始時の状態、修正指示、結果の評価方法はそろえる。

最初の結果、最終結果、手直し

  • 最初の実行。 全条件に共通する当初の要件が、最初の結果に反映されたかを判定する。
  • 最終結果。 追加の要件も含めてテストに合格したかを判定する。作業開始から合格までの時間と、人が直接費やした時間をそれぞれ測る。
  • 手直し。 やり直した工程、修正回数、モデルの使用量を記録する。

評価者には参加者と実験条件を知らせない。制限時間内に終わらなかった作業の件数も、完了率と合わせて報告する。スキルの作成とその後の管理にかかった時間は別に記録し、繰り返し作業で短縮した時間と比較する。

同じ人の結果を組にして比較すると、個人ごとの作業速度の差による影響を抑えられる。スキルを提供した場合と提供しなかった場合に、Steerが手直しの時間をどの程度変えるかも比較する。結果が当てはまるのは、実験に参加した人と試した作業の範囲である。他の業務でも差が出るかを知るには、作業の種類を変えて同じ実験を繰り返す必要がある。

連載の概要・Codexの使い方による作業成果の違い

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.