AI 활용 범위와 업무 위임

평가 목록에서 사내 자료실로의 확장

처음 요청은 보유한 발표자료에서 시스템 구성도를 찾아 평가하고 순위를 매기는 일이었다. Codex는 PowerPoint 파일 2,331개를 조사해 구성도 1,389개를 평가했다. 순위는 Excel로, 그림은 HTML로 볼 수 있게 했다. HTML에는 검색·정렬·확대와 원본 슬라이드 위치도 포함됐다.

• 처음 필요한 동작은 평가한 그림을 열고 다른 그림과 비교하는 일이었다.
• 다음에 필요한 동작은 팀원이 검색해서 원본을 내려받고, 관리자가 새 자료를 올리는 일이었다.

목록에서 팀 자료실로 바뀌자 로그인, 자료 등록, 다운로드가 필요해졌다. 배포 API로 파일을 보낼 수 없어 소스를 서버에서 빌드했다. 구성도 1,389개와 원본 발표자료 1,014개를 등록하고 관리자 로그인과 다운로드를 시험했다. 일반 사용자 권한은 별도로 검사했다.

비용 분석 작업에서도 비슷한 흐름이 있었다. 계정 기록을 분석한 결과를 보고서와 WordPress 글로 만들었다. 공개 뒤 비교 단위를 고치는 과정에서, 다음 글에도 쓸 절차가 구체화됐다. 초안 저장, 첨부 연결, 저장 결과 재조회 방법을 스킬에 남겼다. 공개한 비용 분석 글

기존 기능을 활용한 구현 범위 조정

외부기관 자료를 연계할 때 처음에는 수집부터 이관까지 스크립트로 처리하는 방식을 검토했다. 관리 화면과 코드를 함께 살펴보니 기존 화면에서 처리할 수 있는 단계가 있었다.

• 기존 화면에서 할 수 있는 일은 기관 등록과 승인, 수집 일정 설정, 항목 연결, 수집 요청과 이관이었다.
• 별도로 필요한 일은 기관별 변환 코드, 배포, 검색 색인 생성이었다.

조사 결과를 바탕으로 변경 대상 39개 파일을 11개로 줄이는 안을 마련했다. 11개는 축소안에 포함된 파일 수다. 적용과 수집부터 검색까지의 재실행은 남아 있었다.

자료실 사례에서는 결과를 써 본 뒤 필요한 기능이 늘었다. 자료 연계 사례에서는 기존 기능을 파악한 뒤 새로 만들 부분을 줄였다. 대화에서 읽을 수 있는 것은 요청과 산출물이 어떻게 달라졌는지다. 사용자가 처음부터 어떤 가능성을 생각하고 있었는지는 기록에 남아 있지 않다.

목표 지정과 해결 방법 탐색

OneDrive 복구 요청에는 파일을 어디서 찾아 어떻게 보관할지 적혀 있지 않았다. Codex는 새 파일이 올라가는데도 대기가 남아 있는 것을 보고 공유 폴더를 조사했다. Finder에서 보이지 않던 파일 아홉 개를 따로 보관하고 폴더를 다시 연결한 뒤, 대기가 18개에서 0개로 줄고 실제 업로드·다운로드가 되는지 시험했다. 해결할 문제를 지정하면, 에이전트는 실행 중 얻은 정보로 다음 조사 방법을 바꿀 수 있다.

실행 범위를 명확히 할 필요가 있었던 사례도 있다. 서버별로 Git 저장소를 갱신해도 기존 설치 스크립트가 작동하는지 물었는데, Codex가 가능 여부를 답하기 전에 스크립트를 수정했다. 질문의 범위를 다시 설명하자 경로만 맞추면 기존 스크립트도 사용할 수 있다는 답을 받았다. 조사만 필요한 작업이라면 어떤 방법을 비교할지와 변경을 언제 시작할지까지 요청에 적어 두는 편이 좋다.

실제 자료를 이용한 위임 범위 검증

Bansal 등의 연구에서는 사람이 AI의 예측을 보고 판단하는 상황을 다뤘다. AI가 어떤 입력에서 틀리기 쉬운지 파악하는 일이 협업 성과에 영향을 줄 수 있었다. 컨설턴트가 GPT-4를 쓴 별도 실험에서는 모델이 어려워한 과제에서 AI를 쓴 집단의 정답률이 쓰지 않은 집단보다 평균 19%포인트 낮았다. 두 연구는 Codex 위임 실험과 조건이 다르다. 이런 차이 때문에 실제 맡길 업무를 골라 결과를 확인하는 과정이 필요하다. Beyond Accuracy · Navigating the Jagged Technological Frontier

1. 누가 무엇을 할지 적는다. 구성도를 정리한다면 팀원이 다음 달에도 그림을 검색하고 원본 슬라이드를 내려받을 수 있어야 하는지 정한다.
2. 쓸 수 있는 도구를 확인한다. 화면·API·저장소에서 무엇을 읽거나 변경할 수 있는지 살핀다.
3. 실제 자료 몇 건으로 시험한다. 발표자료 몇 개에서 검색과 다운로드를 시험하거나, 한 기관의 연계 절차를 개발 화면에서 실행한다.
4. 시험 결과를 다음 요청에 쓴다. 반복할 수 있는 절차를 스킬에 남기고, 실패한 단계에 다른 도구나 사람이 필요한지 판단한다.

팀원이 다음 달에도 같은 자료를 검색하고 원본을 내려받을 수 있어야 한다. 연결된 도구와 권한으로 가능한 방법을 조사하고, 기존 시스템을 쓰는 경우와 새로 만드는 경우에 어떤 일이 필요한지 비교해 줘. 자료 한 건으로 시험할 방법을 먼저 제안해 줘. 원본과 운영 설정 변경은 방법을 정한 뒤 진행해 줘.

사용자가 예상하는 범위가 실제 성과에도 영향을 주는지 확인하려면 같은 모델과 도구를 여러 사용자에게 제공하고, 일부에게만 실제 시험 결과를 먼저 보여준 뒤 후속 요청의 범위와 완료율을 비교할 수 있다.

연재 개요 · Codex 활용 방식에 따른 작업 성과 차이