에이전트 작업의 완료 조건과 결과 검증

스킬에는 작업할 때마다 지킬 절차와 검사 항목을 담을 수 있다. 진행 중에 새 조건이 생기면 스티어링으로 전달한다. 스킬은 첫 결과의 누락을 줄이고, 스티어링은 새 조건을 반영하는 데 드는 재작업을 줄인다는 것이 이 글의 가설이다.

OneDrive, 구성도 자료실, ReviewOps의 작업 기록을 보면, 어느 검사가 다음 조치를 바꿨는지 알 수 있다. 두 기능을 사용한 효과가 어느 정도인지는 같은 작업을 조건별로 비교해야 알 수 있다.

OneDrive 공유 폴더 동기화 복구

앱과 macOS의 파일 동기화 서비스를 다시 시작하자 시험 파일이 서버에 올라갔다. 기존 공유 폴더의 대기 항목은 여전히 18개였다. 새 파일을 올릴 수 있었으므로, Codex는 이전부터 남아 있던 대기 작업이 어느 폴더에 연결돼 있는지 살폈다.

서버의 공유 폴더는 연도별로 재구성돼 있었다. Mac은 예전 폴더와 파일을 삭제하는 작업을 반복하고 있었다. Codex는 Finder에 보이지 않던 파일 9개를 따로 보관한 뒤 공유 폴더 바로가기를 다시 연결했다. 대기 항목은 18개에서 0개로 줄었고, 파일을 올리고 내려받는 시험도 모두 통과했다.

새 파일을 올리고 내려받을 수 있는지, 기존 대기 항목은 어디에 남아 있는지 각각 확인해 주세요. 공유 폴더를 다시 연결해야 한다면 이 기기에만 남은 파일부터 보관해 주세요. 연결을 바꾼 뒤에는 대기 항목 수와 업로드·다운로드를 다시 검사해 주세요.

운영 배포 후 사용자 동작 검증

구성도 자료실의 로그인과 권한

구성도 자료실을 만들고 운영 서버에 소스를 올려 빌드했다. 파일 3,439개의 체크섬을 대조해 복사본이 원본과 일치하는지 검사했다. 관리자 계정으로 로그인해 구성도를 열고 원본 발표자료도 내려받았다. 이후 일반 사용자가 로그인하자 오류 페이지가 나타났다.

포털에 로그인한 사용자는 누구나 자료를 열고 내려받을 수 있도록 권한을 바꿨다. 업로드와 편집 권한은 관리자에게 부여했다. 로그인과 권한 검사 6개를 통과했다.

• 일반 사용자의 자료 열람과 편집 차단은 권한 검사에서 확인했다.
• 운영 사이트에서는 관리자 계정으로 새로 로그인하고 목록으로 돌아갔다.

운영 사이트에서 직접 다시 로그인한 범위는 관리자 계정까지였다. 검사 결과는 사용자 역할과 환경을 함께 적어야 어디까지 확인했는지 알 수 있다.

ReviewOps 업데이트 후 설정 보존

ReviewOps 1.7.0 배포를 진행하던 중 업데이트 조건을 추가했다. 테스트 버전 수신을 켜 둔 사용자도 같은 기본 버전에서 더 늦게 나온 공식 버전으로 업데이트할 수 있어야 했다. Codex는 전환용 테스트 빌드를 만들어 테스트 버전을 설치한 사용자 프로필에서 공식 버전으로 전환했다.

재시작한 뒤에도 테스트 수신 설정과 프로젝트가 유지됐다. 이전 테스트 버전은 다시 제안되지 않았다. 물리적으로 분리된 두 PC 사이의 복구는 후속 검증 항목으로 남겼다. ReviewOps 1.7.0 릴리스 기록

재시도와 작업 종료

업데이트 작업을 요청할 때는 사용자가 이전 버전에서 새 버전으로 이동하고, 재시작한 뒤 설정과 프로젝트를 열 수 있어야 한다고 적는다. 자료실이라면 일반 사용자와 관리자가 각각 할 수 있는 동작을 지정한다. 검사에 쓸 파일과 계정, 환경을 함께 정해 두면 완료 여부를 판단할 수 있다.

• 일부만 성공한 경우. 성공한 동작과 계속 실패하는 동작을 적는다. 새 파일은 올라가는데 대기 목록이 그대로라면, 기존 공유 폴더에서 무슨 작업이 반복되는지 살핀다.
• 같은 실패가 반복되는 경우. 가능한 원인에 따라 결과가 달라질 검사를 고른다. 같은 방법을 다시 시도할 때는 앞선 시도와 달라진 조건을 확인한다.
• 실행 중 요구가 바뀐 경우. 새 조건이 이미 적용한 변경이나 남은 작업에 어떤 영향을 주는지 전달한다. 진행 중인 결과에 필요한 조건은 스티어링으로 보내고, 독립된 후속 작업은 대기열에 둔다.
• 검사 환경을 쓸 수 없는 경우. 실제로 시험한 동작과 남은 검사를 기록하고 종료한다. 저장 중 연결이 끊겼다면 변경을 다시 요청하기 전에 실제 저장 상태부터 조회한다.

어떤 동작이 여전히 실패하는지 정리하고, 원인을 가려낼 다음 검사를 골라 진행해 주세요. 수정한 뒤에는 처음 요청한 사용자 동작을 다시 시험해 주세요. 접근할 수 없는 환경에서 해야 할 검사가 남았다면 그 항목을 적어 주세요.

스킬과 스티어링 효과의 비교 실험

METR은 2025년 초 숙련된 오픈소스 개발자 16명의 작업 246건을 무작위로 나눠 비교했다. 당시 AI 도구를 쓸 수 있었던 작업은 완료 시간이 평균 19% 더 길었다. METR의 개발자 실험

2026년 후속 조사에서는 AI 없이 일하기를 원치 않는 사람의 이탈로 참가자 구성이 달라졌다. 여러 에이전트를 동시에 쓰는 작업의 소요 시간도 측정하기 어려웠다. 두 조사에서 비교한 것은 AI 사용 허용 여부였다. Codex 스킬과 스티어링의 효과를 알아보려면 각 기능을 사용하는 조건을 따로 설정해야 한다. 후속 조사와 측정상의 한계

실험 조건과 추가 지시 시점

작업 절차	대기열	스티어링
스킬 없이 시작	공통 요청으로 시작하고 추가 지시는 다음 실행에 전달	공통 요청으로 시작하고 추가 지시는 진행 중인 실행에 전달
스킬과 함께 시작	공통 요청과 스킬로 시작하고 추가 지시는 다음 실행에 전달	공통 요청과 스킬로 시작하고 추가 지시는 진행 중인 실행에 전달

여러 참가자가 네 조건을 모두 수행한다. 참가자마다 조건의 순서를 무작위로 정하고, 난이도가 비슷한 업무를 배정해 특정 업무가 한 조건에 몰리지 않게 한다. 모델 버전과 설정, 권한, 도구를 고정한다. 같은 과제를 수행할 때는 어느 조건에서든 동일한 입력과 초기 상태를 사용한다.

추가 지시는 같은 문장으로 준비해 같은 작업 단계에서 보낸다. 예를 들어 설치본이 처음 나온 시점에 기존 설정을 업데이트 후에도 보존하라는 요구를 추가한다.

첫 결과, 최종 결과와 재작업

• 첫 실행. 모든 조건에 공통인 최초 요구가 첫 결과에 반영됐는지 판정한다.
• 최종 결과. 추가 요구까지 시험을 통과했는지 판정한다. 작업을 시작해 통과하기까지의 시간과 사람이 직접 들인 시간을 각각 잰다.
• 재작업. 다시 수행한 단계와 수정 횟수, 모델 사용량을 기록한다.

평가자에게는 참가자와 실험 조건을 가린다. 제한 시간 안에 작업을 끝내지 못한 건수도 완료율과 함께 보고한다. 스킬을 만드는 시간과 이후 관리에 드는 시간은 따로 기록해, 반복 업무에서 절약한 시간과 비교한다.

같은 사람의 결과를 짝지어 비교하면 개인별 작업 속도 차이가 결과에 미치는 영향을 줄일 수 있다. 스킬을 제공했을 때와 제공하지 않았을 때 스티어링이 재작업 시간을 얼마나 바꾸는지도 비교한다. 결과의 적용 범위는 실험에 참여한 사람과 시험한 업무에 한정된다. 다른 업무에서도 차이가 나는지 알려면 업무 유형을 바꿔 같은 실험을 반복해야 한다.

연재 개요 · Codex 활용 방식에 따른 작업 성과 차이