Codexスキルと業務用ツールの設計

概要

Codexに同じ作業を繰り返し任せるときは、使うツールと結果の確かめ方を合わせて決めておくとよい。

  • GitLabのイシューに、9つの操作シナリオと実装後に点検する10項目が加わった。モデルは同じで、スキルの記述ルール、参照した例、レビュー方法が異なっていた。
  • CloudStackで同じデプロイを照会したとき、API専用のスキルを明示した実行はブラウザーを開かずに報告まで終えた。
  • 成果を比較するときは、最初の結果をそのまま使えたかと、修正やレビューまでにかかった時間を見る。
作業を指定して状態を照会し、依頼された変更を行ってから、結果をもう一度照会する4つの段階。
対象と状態を読み取り、依頼された変更を実行する。変更後は同じ対象をもう一度照会する。

スキルとツールを使った事例

繰り返す作業について、次の点を調べた。

  • 機能要望をどの順番で読み、記述するかをスキルに書くと、実装担当者が必要とする条件の抜けは減るか。
  • 使うツールと許可範囲を決めると、指定された経路で必要な結果を得られるか。

ツールとスキルの役割

GitLab APIは、イシューを検索、登録し、保存した内容を読み直すためのツールである。既存のイシューをいつ探すか、機能要望に何を書くか、登録後に何と照合するかはスキルに記す。SKILL.mdに作業の手順を書き、必要に応じてテンプレートや実行用のスクリプトを添えられる。OpenAIのスキルに関する文書

項目GitLabのイシューを書く場合
ツールイシュー一覧の照会、本文の登録と修正、保存結果の照会
スキル重複イシューの検索、関連コードの確認、操作ごとに期待される動作の記述、登録結果の照合
個別の依頼対象プロジェクト、変更する機能、下書きの作成か実際の登録か

イシュー番号を使って保存された本文を読み直したり、添付ファイルのリンクが開くかを確かめたりする作業は、スクリプトに任せられる。依頼を解釈し、既存のコードと合わない点を探す作業はCodexが担う。スキルには、どの段階でどの入力を読み、次の段階に何を渡すかを記す。

GitLabのイシューの作成結果を比較する

プロジェクトやグループを削除する前に無効へ切り替え、デプロイ済みのサービスがすべて停止している場合だけ切り替えを許可するという依頼だった。同じイシューの最初の本文と修正版は、同じモデルと推論設定で作成した。最初の作成にも登録用のスキルを使った。

本文に含まれる情報最初の文面修正後
依頼と適用範囲依頼の要約と4つの条件プロジェクトとグループそれぞれの条件、現在の動作、変更する点
利用者の操作操作シナリオ0件状況、操作、期待される動作を対応させたシナリオ9件
実装後の点検点検項目0件実装後に点検する項目10件
最初の本文には4つの条件を記した。修正版では、デプロイが稼働中の場合、停止済みの場合、状態を取得できない場合に期待される動作をそれぞれ明記した。
修正したイシューには9つの操作シナリオと、実装後に確認する10項目が入った。

修正したイシューには、開発者が実装する動作を具体的に記した。

  • グループ内に稼働中のデプロイが一つでもあれば、無効への切り替えを止め、どのプロジェクトにどのサービスが残っているかを知らせる。
  • デプロイがない場合、サービスの停止に失敗した場合、実行状態を読み取れない場合の処理方法を記す。
  • 既存のプロジェクトを有効と表示するときは、プロジェクトの管理上の状態だけを変更する。デプロイ済みのサービスの稼働状態は変えない。

最初のスキルには、イシューを検索してAPIで登録する手順が含まれていた。修正時には機能要望の記述ルールを補い、利用者が選んだイシューの例、プロジェクトのコード、別途行った下書きのレビューも反映した。スキルの指示だけの効果を見るには、同じ資料とレビュー方法を使い、スキルのバージョンだけを変えて比較する必要がある。

CloudStackのデプロイ照会に使った経路

社内のCloudStackで、同じプロジェクトのデプロイとIPを2つの環境から照会した。

  • 最初の実行では、APIを使って数分以内に、プロジェクト1件、稼働中と表示されたデプロイ5件、設定と一致する割り当て済みIPアドレス4件を見つけた。次に管理画面を開き、利用者がAPIだけを使うよう指示した後に、実行は中断された。
  • 別のMacでの実行では、CloudStackのスキルを明示した。APIで同じデプロイとIPを読み取って表にまとめ、IPのないデプロイも示した。

2つの実行で確認した違いは、指定されたAPI経由で報告まで終えたかどうかである。最初の実行でもAPIでの照会は数分以内に終わった。全体の所要時間には、実行環境、ブラウザーでの調査、中断の有無が影響した。時間を比較するには、同じ環境で照会を繰り返し、依頼してから結果をレビューするまでの時間を測る必要がある。

管理APIのデプロイの状態だけでは、ウェブへのアクセスやアプリケーション内の接続状況までは分からない。別の構成調査では、管理APIでデプロイとIPを確認し、利用者が許可した読み取り専用のSSHでデータベース接続を確認した。GitLabでもイシューはAPIで登録し、利用者が別に依頼したトークンの発行にはブラウザーを使った。目的ごとに使う経路と、そこから読み取れる情報を記しておくと、不要な照会を減らせる。

繰り返す業務に合うツールを設計する

  1. 繰り返している作業を見つける。 作業記録から、同じ照会、照合、実行を何度も行った箇所を探す。
  2. 人が何度も対応する作業から選ぶ。 繰り返した回数、所要時間、人が確認する項目、失敗時にやり直す作業を見る。
  3. 入力と結果を1文で書く。 例えば、プロジェクト名を受け取り、デプロイの状態と割り当て済みのIPを返す。
照会ツールはプロジェクトIDを使ってデプロイとIPを読み取る。再起動ツールはデプロイIDと変更権限を使って再起動し、その後に状態を照会する。
同じAPIに接続する場合でも、照会と再起動では必要な入力と権限が異なる。
業務ツールが行う操作確認する結果
プロジェクトの状態を把握するプロジェクト、デプロイ、割り当て済みIPの読み取りデプロイごとの状態、IPが一致するか、未設定の項目
サービスを再起動する指定したデプロイの再起動と状態の再照会リクエストの受け付け、その後の状態、接続を試した範囲
GitLabのイシューを登録するイシューの検索、登録、再照会イシュー番号、保存された本文、添付が開くか
講義の実習資料を確認する実習ノートブックのセルの実行と出力の照合失敗したセル、期待値と実際の値

照会と変更は、同じAPI接続コードを使える。呼び出す操作は分ける。

  • 照会にはプロジェクト名またはIDを受け取る。再起動には、正確なデプロイIDと変更権限が必要である。
  • 名前が重複しているとき、対象がないとき、権限が足りないとき、一覧の一部しか読めなかったときは、その状態を結果に表示する。
  • 変更リクエストを送信した後に接続が切れたら、対象を再取得する。変更がすでに適用されたかを確認してから、再試行するかを決める。

プロジェクト名を受け取り、デプロイと割り当て済みIPを照会するツールを作る。同じ名前のプロジェクトが複数あれば、候補を返す。アドレスがなければ未設定と表示する。正常な照会、名前の重複、権限不足をそれぞれ試す。

スキルに記録する作業手順

同じ修正を何度も依頼したら、そのたびに説明した内容をスキルに移せる。

  • GitLabのイシューには、機能を許可または制限する条件と、利用者の画面に現れる結果を書く。
  • 講義資料を作るときは、前の週の実習と解答ファイルを読み、新しい解答コードを実行して期待する出力と照合する。
  • 動画制作の依頼では、生成ボタンを押して処理を受け付けることと、完成した動画を受け取って渡すことを別々に書く。

スキルには、対象業務、読む資料、許可する変更、完了の確かめ方を書く。新しい会話で、通常の依頼、対象が曖昧な依頼、照会だけが必要な依頼をそれぞれ試す。

Codexは、依頼でスキルを明示した場合や、依頼内容がスキルの説明に合う場合にスキルを読み込める。CLIとIDE拡張機能では$スキル名で指定する。自動で選ぶようにするには、適用する業務と範囲を説明に書く。社内のCloudStackスキルはallow_implicit_invocation: falseとし、明示的に指定した場合に読み込むようにした。OpenAIのスキル呼び出しに関する文書

利用者ごとの成果を比較する方法

チームで繰り返す作業は、手順を共通のスキルに入れて共有できる。個人の作業に必要な手順は別に加える。同じツールを共有するには、実行環境とアカウントの権限もそろえる必要がある。

利用者ごとの違いを調べるには、同じモデルと作業資料を用意し、スキルなし、チーム共通のスキルあり、個人用のスキルありで実行した結果を比べる。

  • 最初の結果をそのまま使えたか。 手直しせずに実際に使った結果の割合を記録する。
  • 追加で何回指示したか。 抜けを補い、誤った動作を修正するために人が送った指示を数える。
  • 作業を終えるまでにどれくらいかかったか。 最初の依頼からレビューと手直しが終わるまでを測る。

GitLabの事例では実装する動作を具体的に記し、CloudStackの事例では依頼されたAPI経由で報告まで終えた。利用者ごとの生産性の違いを判断するには、複数の人が同じ条件で繰り返した結果が必要である。

連載の概要・Codexの使い方による作業成果の違い

“Codexスキルと業務用ツールの設計”에 대한 한개의 댓글

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.