Codex 활용 방식에 따른 작업 성과 차이

요약

같은 모델을 사용해도 에이전트에 맡기는 일과 결과를 확인하는 방식에 따라 작업 성과가 달라질 수 있다. Codex 작업 기록에서 스킬, 실행 중 지시, 완료 검사가 실제 결과에 어떻게 반영됐는지 살펴본다.

스킬에는 어떤 도구를 쓰고, 무엇을 확인한 뒤 작업을 끝낼지 적는다.
Steer는 지금 진행하는 작업을 수정할 때 쓴다. 이어서 할 일은 Queue에 둔다.
완료 검사에서는 파일이 저장됐는지 읽고, 사용자가 하려던 동작을 직접 시험한다.

도구와 권한 지정, 실행 중 수정 반영, 실제 사용 동작 검증의 세 단계. — 작업마다 반복해서 확인하는 항목은 스킬에 적어 다음 요청에도 쓴다.

반복 작업에 필요한 도구와 절차

GitLab 이슈 하나를 같은 모델과 추론 설정으로 두 번 작성했다. 처음 등록한 글에는 요청 요약과 조건 네 개가 있었다. 두 번째에는 이슈 예시와 관련 코드를 확인하고, 기능을 허용하거나 막아야 하는 조건을 스킬에 적었다. 등록한 내용을 다시 읽는 절차도 추가했다.

처음 등록한 이슈에는 어떤 기능을 바꿀지와 적용 조건을 적었다.
수정한 이슈에는 사용자가 조작하는 상황 아홉 개와 구현 후 확인할 항목 열 개를 적었다.

예를 들어 그룹 안에 실행 중인 서비스가 남아 있으면 비활성 전환을 막고, 어떤 프로젝트의 어떤 서비스가 남았는지 알려 주도록 했다. 두 번째 작성에는 스킬 수정 외에 이슈 예시, 코드 조사, 초안 검토가 함께 들어갔다. 스킬만 바꿨을 때도 같은 차이가 나는지 보려면 입력과 검토 절차를 고정해야 한다.

GitLab API는 이슈를 등록하고 저장된 내용을 다시 읽는다. 스킬에는 어떤 이슈와 코드를 살펴볼지, 본문에 어떤 조건을 쓸지, 등록 후 무엇을 확인할지 적는다. 사내 CloudStack에서도 배포 목록 조회와 서비스 재시작은 필요한 입력과 권한이 다르다. 이렇게 동작을 작게 나누면 어떤 작업에 어느 도구를 써야 할지 분명해진다. OpenAI 스킬 문서

Codex가 GitLab 이슈, CloudStack 관리, 강의자료 검사 도구를 요청에 따라 선택하는 그림. — 이슈 등록은 GitLab API로, 배포 조회는 CloudStack API로 처리한다. 실습 자료는 노트북을 실행해 확인한다.

실행 중 수정과 후속 작업

WordPress에 비용 분석 글을 올릴 때, 공개 직전에 다운로드 링크의 문구를 바꾸라는 요청이 들어왔다. Codex는 편집 화면으로 돌아가 문구를 수정하고 같은 실행에서 글을 올렸다. 비용 비교 단위의 오류는 공개한 뒤에 발견했다. 이 수정은 새 실행에서 표와 결론을 고쳐 공개본을 갱신했다.

Steer는 지금 만드는 결과에 새 조건을 반영할 때 사용한다. 글을 올리기 전에 문구를 고치는 일이 여기에 해당한다.
Queue에는 지금 작업이 끝난 뒤 시작할 요청을 둔다. 출석률을 고치는 중 별도 문의 게시판을 요청했을 때에는 이 요청이 대기열에 남았다.

링크 문구를 고치는 일과 비용 계산을 다시 하는 일은 작업량이 다르다. 이 기록에서 비교할 수 있는 것은 각각 어느 단계에서 수정했는지다. 시간을 얼마나 줄였는지 알려면 같은 작업에 같은 수정 지시를 보내 전달 방식만 바꿔 봐야 한다. 비용 분석 글 · OpenAI의 Steer·Queue 설명

사용자가 수행할 동작과 완료 검사

OneDrive에서는 시험 파일이 서버에 올라간 뒤에도 대기 항목 18개가 남았다. 로컬 파일 아홉 개를 보관한 다음 공유 폴더를 다시 연결하자 대기가 0개가 됐다. 그 뒤 업로드와 다운로드를 모두 시험했다.
구성도 자료실에서는 관리자 로그인과 원본 다운로드가 됐다. 일반 사용자에게는 로그인 오류가 남아 권한을 수정했다. 이후 일반 열람과 관리자 편집을 따로 검사했다.

새 파일 한 건의 업로드나 관리자 로그인은 검사한 동작에 대해서만 답을 준다. 완료 여부는 원래 요청을 한 사용자가 필요한 동작을 수행할 수 있는지로 판단한다.

GitLab은 조작 시나리오 0개에서 9개, OneDrive는 대기 18건에서 0건, 자료실은 관리자 접근을 시험한 뒤 일반 사용자 권한을 검사했다. — 조작 시나리오 수, 동기화 대기 항목 수, 권한 검사 결과는 각 업무에서 따로 확인한 값이다.

중간 결과를 본 뒤 달라지는 요청

발표자료에서 구성도를 골라 Excel과 HTML로 정리한 작업은 팀 자료실 구축으로 이어졌다. 목록을 열어 보면서 팀원이 검색하고 원본을 내려받는 일, 관리자가 새 자료를 올리는 일이 추가됐다. 외부기관 자료 연계에서는 기존 관리자 화면을 조사한 뒤 바꿔야 할 파일을 줄이는 안이 나왔다. 중간 결과를 직접 보면 다음 요청에서 필요한 사용자와 동작을 더 구체적으로 정할 수 있다.

작업 성과의 비교 방법

사용 방식에 따른 차이는 같은 모델과 권한을 주고 비슷한 업무를 반복하면 비교할 수 있다. 여러 사람이 스킬 사용 여부와 지시 전달 방식을 바꿔 가며 작업하고, 다음 항목을 기록한다.

첫 결과가 요청한 동작과 형식을 충족했는가.
사람이 개입한 횟수와 시간은 얼마인가.
완료 시간은 요청부터 검토와 재작업까지 얼마나 걸렸는가.

고객 지원 상담원 5,172명을 다룬 연구에서는 AI 보조 도입 후 시간당 해결 건수가 평균 15% 늘었고, 경험이 적은 상담원의 개선 폭이 더 컸다. 이 수치는 고객 지원에서 관찰한 값이다. Codex에서도 공통 스킬을 쓰면 사용자별 차이가 줄어드는지는 위와 같은 비교로 확인할 수 있다. Generative AI at Work