2026년 11월 15일, 세무사 자격시험 수석 합격자가 시험 중 생성형 AI를 사용했다고 시인했다. 그가 1차 시험에서 틀린 문제는 160문항 중 하나였다. 국세청은 이튿날 시험을 무효로 하고 응시 자격을 정지하는 절차에 착수했다. 그의 1차 성적은 400점 만점에 397.5점이었다. 점수는 몇 문제를 맞혔는지 정확히 보여줬지만, 그중 어느 답을 응시자가 스스로 냈는지는 말해주지 않았다. 사건 보도 · 국세청 발표
왜 지금 이런 일이 벌어졌을까. 같은 주에 치러진 수능을 두 세대의 AI에 풀게 한 공개 실험이 한 가지 단서를 준다. 11월 19일 공개된 2027학년도 수능 507문항에서 2025년 모델 GPT-5는 436문항(86.0%)을, 2026년 모델 GPT-6.2 Astra는 507문항(100%)을 맞혔다. 같은 시험지에서 71문항, 정답률로는 14.0%포인트 차이가 났다. 물리학Ⅰ에서 두 모델이 맞힌 문항은 각각 20문항 중 9개와 20개였다. 실험자는 국어·수학의 여러 선택과목과 영어·한국사·사회탐구·과학탐구를 포함한 26개 문제 묶음을 글과 그림으로 입력했다. 두 모델 모두 추론 설정은 ‘높음’이었고 검색과 계산기는 제공하지 않았다. 11월 20일 공개한 문항별 채점 결과 · 실험 방법
지난해에도 수학에서는 이미 만점이 가능했다. 2025년 11월 수능 직후 진행한 연구에서 GPT-5 계열 모델은 일부 입력 조건에서 수학 공통·선택 46문항을 모두 맞혔다. 올해 실험에서 두드러진 점은 한 모델이 국어에서 과학탐구까지 여러 영역에서 고르게 만점을 받았다는 것이다. AI의 답이 자주 틀릴 때는 그 답을 골라 쓰는 데에도 수험생의 실력이 필요했다. 틀린 답이 드물어질수록 답안만으로 수험생의 실력을 판단하기 어려워진다. 다만 교육부가 이번 수능에서 집계한 111건은 전자기기 관련 부정행위 건수다. 시험 중 기기를 사용한 사례는 5건이었으며, 이 통계로 AI 답안을 제출한 인원을 산출할 수는 없다. 2025년 수능 수학 연구 · 교육부 수능 적발 현황
튜링의 대화 실험에서 전문가 시험까지
1950년 앨런 튜링은 기계가 생각할 수 있는지를 대화 실험으로 살펴보자고 제안했다. 오늘날 튜링 테스트로 알려진 이 실험에서 심사자는 정체를 가린 두 상대와 글로 대화한다. 한쪽은 사람이고 다른 한쪽은 기계다. 심사자가 읽는 것은 양쪽의 답변뿐이다. 튜링의 1950년 논문
1997년 IBM의 딥 블루가 체스 세계 챔피언 가리 카스파로프와 대국할 때는 승패를 가르는 규칙이 있었다. 튜링 테스트에서는 사람이 대화를 읽고 상대의 정체를 판단했다. 체스에서는 누가 더 잘 두는지를 대국 결과로 알 수 있었다. IBM의 딥 블루 대국 기록
언어모델이 보급되면서 여러 분야의 지식을 한꺼번에 시험할 방법이 필요해졌다. 2020년 발표된 MMLU는 수학·법학·의학을 비롯한 57개 분야의 사지선다 문제를 사용했다. 모델은 외부 자료를 찾아보거나 채점자에게 되묻지 않고 주어진 문제에서 답 하나를 골랐다. 처음 보는 문제의 지문과 선택지를 읽고 정답을 표시한다는 점에서 수능이나 자격시험의 선택형 문항과 닮았다. 이렇게 한 번의 응답을 채점하는 방식을 흔히 ‘싱글턴 평가’라고 한다. MMLU 연구 논문
전문가를 선발하는 시험에서도 같은 변화가 나타났다. 로앤컴퍼니가 자사 법률 AI 서비스 ‘슈퍼로이어’에 변호사시험 선택형을 풀게 한 결과, 2025년 제14회에서는 150문항 중 123개(82%), 2026년 제15회에서는 150개(100%)를 맞혔다. 제15회에서 서비스가 얻은 선택형 점수는 375점으로, 그해 시험 전체 수석 합격자의 선택형 점수 360점보다 높았다. 서로 다른 회차를 법률 자료와 모델을 결합한 서비스로 평가한 개발사의 실험이다. 한편 법무부가 11월에 논의한 사안은 과거 5년 치 논술 답안의 AI 사용 의혹을 조사하는 방안이었다. 슈퍼로이어 발표 · 법무부 논의 보도
시험장에서는 응시자 스스로 풀었는지가 중요하다. 회사에서는 질문이 달라진다. AI가 전문가만큼 잘하는 일이 있다면 어디에 투입하고, 무엇을 사람이 책임져야 할까. 실제 산출물을 비교한 실험에서도 이 질문이 나온다. OpenAI의 GDPval은 44개 직종의 업무를 주고, 해당 분야 전문가에게 작성자를 가린 채 사람과 AI의 결과물을 비교하게 했다. 2026년 3월 발표에서 GPT-5.4의 결과물이 전문가의 결과물과 동등하거나 더 낫다고 판정된 비율은 83.0%였다. 요구사항이 정해진 과제에서 한 번 제출한 결과를 평가한 수치다. 고객의 말을 듣고 요구사항을 다시 정하거나, 최종 결재에서 예외를 판단하는 일까지 맡기려면 회사가 그 업무를 직접 시험해야 한다. GDPval 평가 방법 · GPT-5.4 평가 결과
에이전트가 끝냈다고 한 일은 실제로 끝났을까
에이전트는 모델의 답을 받아 파일을 읽고, 프로그램을 실행하고, 그 결과에 따라 다음 행동을 선택한다. SWE-bench는 실제 소프트웨어 저장소에 보고된 문제를 에이전트에게 맡긴 뒤, 수정한 코드로 테스트를 실행한다. Terminal-Bench 2.0은 터미널에서 수행하는 작업 89개에 실행 환경과 검사 프로그램을 붙였다. 에이전트가 “수정했습니다”라고 답해도, 다시 실행했을 때 같은 오류가 발생하면 그 문제는 해결되지 않은 것이다. SWE-bench · Terminal-Bench 연구 논문
우리 회사에서도 이 차이를 측정했다. 파일 집계와 대조 등 다섯 업무에서 합성 사례 30개를 만들고, 같은 모델(Qwen3.5 9B)과 에이전트(OpenCode)로 각각 세 번씩 실행했다.
| 검사한 내용 | 통과 수 / 전체 | 비율 |
|---|---|---|
| 프로그램이 정상 종료한 실행 | 88회 / 90회 | 97.8% |
| 입력 읽기, 결과 파일의 값, 최종 응답 형식까지 모두 통과한 실행 | 72회 / 90회 | 80.0% |
| 같은 작업을 세 번 모두 통과한 사례 | 23개 / 30개 | 76.7% |
특히 CSV 파일 하나를 집계하는 작업은 18회 모두 통과했지만 두 파일의 식별번호를 대조하는 작업은 18회 중 4회만 통과했다. 두 파일을 모두 읽고도 식별번호를 빠뜨리거나 원문에 나온 순서를 바꾼 경우가 있었다.
여기에 사람이 AI를 일일이 평가하기 어려워지는 이유가 있다. 수능 문제는 AI가 사람보다 빨리 풀어도 정답표 한 장으로 채점할 수 있다. 두 파일에서 식별번호 하나가 누락됐는지 알아내려면 검토자가 원본을 다시 대조해야 한다. 일이 길어질수록 결과를 검토하는 데 일을 처음부터 하는 만큼의 노력이 들 수 있다. 그래서 값과 순서는 프로그램으로 전수 검사하고, 설명문에 중요한 예외가 빠졌는지는 별도 평가 에이전트가 원문과 작업 기록을 읽어 표시하게 할 수 있다. 사람은 이때 평가자가 놓친 오류까지 살핀다. 자동으로 통과한 결과도 표본을 뽑아 다시 읽어야 잘못 통과시킨 비율을 알 수 있다. 에이전트의 결과와 실행 과정을 평가하는 방법
같은 모델을 써도 담당자의 경험이 차이를 만든다
우리가 화면 검토용 스킬에 남긴 항목 중 하나는 ‘설정값을 바꾼 뒤, 저장하기 전에 사용 기록 탭을 열었다가 돌아와 보라’는 것이다. 화면이 처음 열렸을 때는 아무 이상이 없어도 이 순서로 써 보면 작성 중인 값이 사라질 수 있다. 이전에 이런 문제를 겪은 담당자는 다음 검토 때 어디를 눌러야 할지 안다. 그 순서와 기대하는 결과를 적어 두면 에이전트도 같은 검사를 수행할 수 있다. 이렇게 반복해서 쓸 업무 절차와 도구를 묶어 둔 것이 스킬이다.
스킬을 누가 어떻게 작성했는지에 따라 성적도 달라진다. SkillsBench 연구진이 같은 Claude Code 에이전트와 Opus 4.7 모델로 87개 과제를 평가했을 때, 통과율은 스킬 없이 43.0%, 전문가가 작성한 스킬을 주면 61.2%, 에이전트가 스킬을 스스로 작성하면 34.9%였다. 같은 모델과 전문가 스킬을 OpenHands라는 다른 에이전트에서 실행했을 때는 53.1%였다. 에이전트가 절차를 직접 작성한 조건에서는 스킬 없이 실행했을 때보다 통과율이 8.1%포인트 낮았다. 같은 모델을 쓰는 두 사람 사이에서도 어떤 실패를 알아보고, 그 경험을 다시 실행할 수 있는 절차로 남겼느냐에 따라 결과가 달라질 수 있다. SkillsBench 논문 표 1·6
회사 데이터로 무엇을 평가할 것인가
우리 회사는 업무에 맞춘 모델을 고르고 직원이 실제로 쓸 수 있는지 검증하기 위해 언어모델(LLM) × 에이전트 × 스킬 조합을 비교하는 평가 시스템을 준비하고 있다. 앞의 파일 실험은 합성 자료와 한 조합으로 얻은 결과다. 다음 단계는 회사에서 처리한 요청과 원본 자료, 담당자가 고친 최종본을 모아 같은 일을 여러 조합에 맡기는 것이다. 예를 들어 같은 월별 집계 업무에 범용 모델과 회사 업무에 맞춘 모델을 각각 넣고, 각 모델에서 에이전트를 바꾸고, 각 조합에 담당자의 스킬을 넣거나 빼 본다. 스킬을 작성할 때 보지 않은 월의 자료를 따로 남겨 두어야 새 자료에서도 효과가 이어지는지 알 수 있다.
| 알고 싶은 것 | 회사 업무에서 잴 값 |
|---|---|
| 정확하게 끝냈는가 | 전체 요청 중 원본과 수치가 일치하고 필수 항목을 모두 제출한 비율. 항목 누락과 잘못된 값도 따로 센다. |
| 다시 맡겨도 되는가 | 같은 사례를 세 번씩 실행해 세 번 모두 통과한 사례의 비율. 업무별로 계산해 취약한 작업을 찾는다. |
| 직원의 일이 줄었는가 | 결과를 받아 그대로 사용한 비율과 담당자의 수정 시간. AI 없이 같은 유형의 일을 끝낼 때 걸린 시간과 비교한다. |
| 멈춰야 할 때 멈췄는가 | 승인이 필요한 요청 중 실행 전에 멈춘 비율, 권한을 벗어난 실행 건수. 허용된 요청까지 불필요하게 중단한 비율도 본다. |
| 한 건을 끝내는 데 얼마가 드는가 | 실패와 재시도에 든 비용까지 합해 통과 건수로 나눈다. 처리 시간은 요청부터 사람이 결과를 사용할 수 있을 때까지 잰다. |
측정값은 실제 권한을 정하는 데 써야 한다. 집계표의 합계가 원본과 맞으면 초안 작성을 자동화할 수 있다. 식별번호 누락이 반복되는 대조 업무라면 전용 검사 프로그램을 붙여 같은 사례를 다시 통과할 때까지 담당자가 결과를 검토한다. 외부 발송처럼 승인이 필요한 행동은 실행 도구가 승인 여부를 검사하게 하고, 평가 중 한 번이라도 승인을 건너뛴 조합에는 그 권한을 주지 않는다. 이렇게 해야 어느 모델을 살지와 어느 일까지 맡길지를 각각 판단할 수 있다.
수능 507문항의 성적만으로는 그 모델이 우리 회사의 집계표에서 빠진 한 줄을 찾아낼지 알 수 없다. 그 한 줄이 빠지면 누구의 일이 잘못되는지 아는 사람은 지금 그 표를 쓰는 담당자다. 나는 개인화된 AI의 성능 차이가 여기서 커질 것이라고 본다. 담당자가 겪은 실패를 스킬로 남기고, 다음 달의 처음 보는 자료로 그 스킬을 시험할 수 있는 회사라면, 모델이 바뀔 때마다 무엇을 더 맡겨도 되는지 스스로 판단할 수 있다.
