韓国の税理士試験で首席合格者が生成AIを使用。AIの実務能力をどう測るか

2026年11月15日、韓国の税理士資格試験に首席で合格した受験者が、試験中に生成AIを使ったと認めた。1次試験で間違えたのは160問のうちわずか1問。韓国国税庁は翌日、受験を無効とし、受験資格を停止する手続きに入った。この受験者の1次試験の得点は400点満点中397.5点だった。何問正解したかは点数から正確に分かる。どの答えを本人が自力で出したかは、点数を見ても分からない。 事件を報じた記事・韓国国税庁の発表

なぜ今、こうしたことが起きたのか。同じ週に行われた韓国の大学修学能力試験(修能)を、世代の異なる二つのAIに解かせた公開実験が手がかりになる。11月19日に公開された2027学年度の修能の507問で、2025年のモデルGPT-5は436問(86.0%)、2026年のモデルGPT-6.2 Astraは507問(100%)に正解した。同じ問題で正答数に71問、正答率に14.0ポイントの差がついた。物理学Ⅰでは、全20問のうち前者が9問、後者が20問に正解した。出題には国語(韓国語)と数学の複数の選択科目に加え、英語、韓国史、社会探究、科学探究を含む26組の問題を使い、文章と図で入力した。いずれのモデルも推論の設定は「高」で、検索や電卓は使えなかった。 11月20日公開の問題別採点結果・実験方法

同じ修能の問題を解いた二つのモデル同じ507問を解いたところ、GPT-5は436問、GPT-6.2 Astraは507問に正解した。同じ修能の問題を解いた二つのモデル2027学年度の修能507問の正答率GPT-5436 / 50786.0%GPT-6.2 Astra507 / 507100%0%50%100%

数学では前年の時点ですでに満点を取れた。2025年11月の修能直後に行われた研究では、GPT-5系のモデルが、一部の入力条件で数学の共通・選択問題46問すべてに正解した。今年の実験で目を引くのは、一つのモデルが国語から科学探究まで、複数の領域で揃って満点を取ったことだ。AIがたびたび間違えていた頃は、その回答を取捨選択するにも受験者の実力が要った。誤答が減るほど、答案だけを見て本人の実力を判断するのは難しくなる。なお、韓国教育部が今回の修能で集計した111件は、電子機器に関する不正行為の件数だ。試験中に機器を使った事例は5件で、この統計からAIの回答を提出した人数は分からない。 2025年の修能の数学を使った研究・韓国教育部による不正行為の集計

チューリングの対話実験から専門職の資格試験へ

1950年、アラン・チューリングは、機械が考えられるかという問いを対話実験で考察することを提案した。今日チューリングテストと呼ばれるこの実験で、判定者は正体を伏せた二者と文字でやり取りする。一方は人間、もう一方は機械だ。判定者が読めるのはそれぞれの返答だけだ。 チューリングの1950年の論文

チューリングテスト 判定者はどちらが人間かを知らされないまま、一人の人間、一台の機械と文字でやり取りする。両者の返答を比べ、どちらが人間かを判定する。 チューリングテスト 一方は人間、もう一方は機械。 参加者A 参加者B 文字で質問し、 文字で答える 判定者 返答を比べ、どちらが人間かを判定。

1997年にIBMのディープ・ブルーがチェスの世界王者ガルリ・カスパロフと対局した際には、勝敗を決めるルールがあった。チューリングテストでは、人が会話を読んで相手の正体を判断した。チェスでどちらが強いかは、対局の結果から分かった。 IBMによるディープ・ブルーの対局記録

言語モデルが普及すると、さまざまな分野の知識をまとめて試す方法が必要になった。2020年に発表されたMMLUでは、数学、法学、医学など57分野の四択問題を使った。モデルは外部資料を調べたり、採点者に聞き返したりせず、与えられた問題の答えを一つ選ぶ。初見の問題文と選択肢を読んで答えを選ぶ点は、修能や資格試験の択一式問題と似ている。このように、一度の応答を採点する方法は「シングルターン評価」と呼ばれる。 MMLUの研究論文

専門職の資格試験でも同じ変化が見られた。韓国のロー・アンド・カンパニーが自社の法律AIサービス「SuperLawyer」に韓国の弁護士試験の択一式問題を解かせたところ、2025年の第14回では150問中123問(82%)、2026年の第15回では150問すべて(100%)に正解した。第15回の択一式で同サービスが得た375点は、その年の試験全体で首席だった合格者の択一式の得点(360点)を上回った。これは法律資料とモデルを組み合わせたサービスで、異なる回の問題を解いた開発元の実験だ。一方、11月に韓国法務部が協議したのは、過去5年分の論述式答案についてAI使用の疑いを調べる方策だった。 SuperLawyerの発表・法務部の協議に関する報道

試験で問われるのは、受験者が自力で解いたかどうかだ。企業で問うべきことは変わる。AIが専門家と同じ水準でこなせる仕事があるなら、どこに使い、何を人が引き受けるのか。実際の成果物を比べた実験からもこの問いが浮かぶ。OpenAIのGDPvalでは、44職種の業務を課題とし、人とAIが仕上げた成果物を、どちらが作成したかを伏せて各分野の専門家に比較してもらった。2026年3月の発表では、GPT-5.4の成果物が専門家の成果物と同等以上と判定された割合は83.0%だった。あらかじめ要件の決まった課題で、一度提出された成果物を評価した数字だ。顧客の話を聞いて要件を見直す仕事や、最終決裁で例外を認めるかどうかの判断まで任せるなら、企業は自社でその仕事を実際に試す必要がある。 GDPvalの評価方法・GPT-5.4の評価結果

エージェントが「完了」と報告した仕事は本当に終わったのか

エージェントはモデルの応答を受けてファイルを読み、プログラムを実行し、その結果に応じて次の行動を選ぶ。SWE-benchでは、実在するソフトウェアのリポジトリに報告された問題をエージェントに任せ、修正後のコードでテストを実行する。Terminal-Bench 2.0では、端末上で行う89の作業に、それぞれ実行環境と検証用のプログラムを用意した。エージェントが「修正しました」と答えても、もう一度実行して同じエラーが出るなら、問題は解決していない。 SWE-bench・Terminal-Benchの研究論文

当社でもこの違いを測った。ファイルの集計や照合など五つの業務について、架空のデータで30件の事例を作り、同じモデル(Qwen3.5 9B)とエージェント(OpenCode)で各事例を3回ずつ実行した。

検査項目通過数/総数割合
プログラムが正常終了した回数88回/90回97.8%
入力の読み込み、結果ファイルの値、最終応答の形式がすべて検査に通った回数72回/90回80.0%
同じ作業で3回とも検査に通った事例数23件/30件76.7%

特に差が大きかったのはCSVファイルの処理だ。一つのファイルを集計する作業は18回すべてで検査に通ったが、二つのファイルの識別番号を照合する作業で通ったのは18回中4回だけだった。両方のファイルを読み込んでも、識別番号を落としたり、元のファイルと順番を変えてしまったりすることがあった。

ここに、人がAIの仕事を一件ずつ評価する難しさがある。修能の問題なら、AIが人より速く解いても正答表が一枚あれば採点できる。二つのファイルの間で識別番号が一つ抜けていないかを判断するには、元のファイルを再び突き合わせなければならない。工程が長い仕事ほど、最初からやり直すのと同じくらい検査に手間がかかることもある。値と並び順はプログラムで全件照合できる。説明文に重要な例外の記載が抜けていないかは、評価を担当する別のエージェントに原文と作業記録を読ませ、該当箇所に印を付けさせることができる。人が見るべき対象には、その評価役が見落とした誤りも含まれる。自動検査に通った結果からも一部を抽出して読み直すことで、誤って通した割合を推定できる。 エージェントの成果と作業過程を評価する方法

ファイル照合を任せたエージェントの評価 作業を担当するエージェントが二つのファイルの識別番号を照合し、結果ファイルと作業記録を残す。検証プログラムは元のファイルと結果を照合して漏れや重複を検出し、評価担当のエージェントは作業記録から例外処理を調べる。担当者は、判定が食い違った全件と、自動検査に通ったものの一部を再確認する。 エージェントの作業をどう評価するか 二つのファイルのID照合を依頼 作業エージェントがツールを実行 結果ファイルと作業記録を作成 結果ファイルの検査 元データと自動照合漏れ・重複を検出 作業記録の検査 評価エージェントが例外処理を確認 担当者が再確認 判定不一致の全件と自動通過の一部
二つのファイルを照合する業務での評価例。

同じモデルでも、担当者の経験が差を生む

当社が画面検証用のスキルに盛り込んだ手順の一つに、「設定値を変更し、保存する前に利用履歴のタブを開いて戻る」というものがある。最初に開いた画面は正常に見えても、この順番で操作すると入力中の値が消えてしまうことがある。以前こうした問題を経験した担当者は、次の検査でどこを押せばよいかを知っている。操作の順番と期待する結果を書き残せば、エージェントにも同じ検査ができる。こうして繰り返し使える仕事の手順とツールをまとめたものがスキルだ。

担当者の経験を検査手順に 設定画面で保存期間を30日に変更し、保存する前に履歴タブを開いて戻ると、入力欄が空になった。この経験をスキルにすれば、エージェントが値を入力し、別のタブを開いて戻り、最初の値が残っているかを繰り返し検査できる。画面と入力値は説明用の例。 担当者の経験を検査手順に 値を変えた直後 タブを移動して戻ると 設定 履歴 設定 履歴 保存期間 保存期間 30日 空欄 スキルにした検査手順 値を入力タブを往復値を比較 毎回「30日」が残るかを検査
この例では、履歴タブを開いて戻った後も、入力した「30日」が残っていれば検査に通る。

誰がどのようにスキルを作ったかによっても、結果は変わる。SkillsBenchの研究チームが同じClaude CodeエージェントとOpus 4.7モデルで87の課題を評価したところ、通過率はスキルなしで43.0%、専門家が作ったスキルを使うと61.2%、エージェント自身が作ったスキルでは34.9%だった。同じモデルと専門家のスキルをOpenHandsという別のエージェントで使うと、通過率は53.1%だった。エージェント自身が手順を作った条件では、スキルなしのときより通過率が8.1ポイント低かった。同じモデルを使う二人でも、どの失敗に気づき、その経験を繰り返し試せる手順にできたかで、得られる結果は変わりうる。 SkillsBench論文の表1・6

スキルの作り方と課題通過率モデルとエージェントを同じにして比べると、課題の通過率はスキルなしで43.0%、専門家のスキルで61.2%、エージェントが作ったスキルで34.9%だった。スキルの作り方と課題通過率SkillsBench · Claude Code + Opus 4.7スキルなし43.0%専門家が作成61.2%エージェントが作成34.9%0%50%100%

自社のデータで何を評価するか

当社は、自社の仕事に合うモデルを選び、社員が実務で使えるかを確かめるために、大規模言語モデル(LLM)× エージェント × スキルの組み合わせを比較する評価システムを準備している。先ほどのファイル実験は、架空のデータを一つの組み合わせで処理した結果だ。次の段階では、社内で実際に受けた依頼、元の資料、担当者が手直しした最終版を集め、同じ仕事を複数の組み合わせに任せる。例えば月次集計なら、汎用モデルと自社の業務に合わせたモデルをそれぞれ試す。モデルごとにエージェントを替え、それぞれの組み合わせで担当者のスキルを使う場合と使わない場合を比べる。スキルを作るときに見ていない月のデータを取り分けておけば、新しい資料に対しても効果が続くかを確かめられる。

知りたいこと業務で測る項目
正確に完了したか全依頼のうち、数値が原本と一致し、必須項目をすべて提出できた割合。項目の漏れと値の誤りも別々に数える。
繰り返し任せられるか同じ事例を3回ずつ実行し、3回とも検査に通った事例の割合を求める。業務別に集計し、苦手な作業を特定する。
社員の負担は減ったか成果物を手直しせずそのまま使えた割合と、担当者が修正にかけた時間。AIを使わず同じ種類の仕事を終えるのにかかる時間と比べる。
止まるべきときに止まったか承認が必要な依頼のうち実行前に停止した割合と、権限を超えて実行した件数。許可済みの依頼で不必要に停止した割合も調べる。
1件を終えるのにいくらかかるか失敗や再試行にかかった費用も合計し、検査に通った件数で割る。処理時間は、依頼を受けてから人が成果物を使える状態になるまでを測る。

測定結果は、エージェントにどこまで権限を与えるかの判断に使う。集計表の合計が原本と合うなら、表の下書きは自動化できる。照合で識別番号の漏れが続くなら、専用の検証プログラムを加え、同じ事例で再び検査に通るまで担当者が結果を確認する。外部への送信など承認が必要な操作では、実行するツールが承認の有無を確かめる仕組みにする。評価中に一度でも承認を飛ばした組み合わせには、その権限を与えない。こうして初めて、どのモデルを購入するか、そのモデルにどの仕事まで任せるかをそれぞれ判断できる。

修能507問の成績だけでは、そのモデルが当社の集計表で欠けた一行を見つけられるかは分からない。その一行が抜けると誰の仕事に支障が出るかを知っているのは、今その表を使っている担当者だ。私は、使い手に合わせたAI同士の実力差はここで広がると考えている。担当者が経験した失敗をスキルとして残し、翌月になって初めて手にする資料でそのスキルを試せる企業なら、モデルが変わるたびに、新たに何を任せられるかを自分たちで判断できる。

답글 남기기

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.