2026 年 11 月 15 日,一名在韩国税务师资格考试中取得第一名的考生承认,自己在考试期间使用了生成式 AI。他在第一阶段考试的 160 道题中只错了一道,韩国国税厅次日启动了取消考试成绩、暂停其报考资格的程序。他在这一阶段取得了 397.5 分,满分 400 分。分数准确记录了他答对多少题,却无法告诉我们,其中哪些答案是他自己想出来的。事件报道 · 韩国国税厅公告
为什么现在会发生这样的事?在同一周,韩国举行了大学修学能力考试(简称“韩国高考”)。一项公开实验让两代 AI 解答同一套题,提供了一条线索。11 月 19 日公布的2027 学年度韩国高考题中,2025 年的模型 GPT-5 答对了 507 题中的 436 题(86.0%),2026 年的 GPT-6.2 Astra 则答对了全部 507 题(100%)。面对同一套题,两者相差 71 题,正确率相差 14.0 个百分点。仅看物理Ⅰ的 20 道题,两个模型分别答对了 9 题和 20 题。实验者以文字和图片输入了 26 组试题,涵盖韩语和数学的多个选考科目,以及英语、韩国史、社会探究和科学探究。两个模型的推理强度均设为“高”,均未配备搜索工具或计算器。11 月 20 日公布的逐题评分结果 · 实验方法
去年,AI 在数学上就已经能拿满分。2025 年 11 月韩国高考结束后不久,一项研究发现,在特定的输入条件下,GPT-5 系列模型能答对数学必考和选考部分的全部 46 道题。今年值得注意的是,同一个模型从韩语到科学探究,各科都能拿满分。当 AI 经常答错时,考生得靠自己的本事判断哪些答案能用。随着错误变得少见,单凭答卷就更难看出考生的真实水平。韩国教育部在本次高考中查获了 111 起与电子设备有关的违规事件,其中 5 起涉及考试期间使用设备。这些数字无法说明有多少考生提交了 AI 给出的答案。2025 年韩国高考数学研究 · 韩国教育部公布的考场违规情况
从图灵的对话实验到职业资格考试
1950 年,艾伦·图灵提出用一项对话实验来探讨机器能否思考。在今天称为“图灵测试”的实验中,评判者通过文字与两名身份保密的参与者交谈,其中一个是人,另一个是机器。评判者能看到的只有双方的回答。图灵发表于 1950 年的论文
1997 年,IBM 的“深蓝”与国际象棋世界冠军加里·卡斯帕罗夫对弈时,有明确的规则可以判定胜负。在图灵测试中,人要读过对话才能判断对方的身份。在棋盘上,看比赛结果就能知道谁下得更好。IBM 的“深蓝”对弈记录
随着语言模型的普及,人们需要一种能同时检验多领域知识的方法。2020 年发表的 MMLU 测试涵盖数学、法律、医学等 57 个领域,每道题有四个选项。模型无法查阅外部资料,也不能向评分者追问,只能从给定的选项中选出一个答案。阅读陌生题目的题干和选项,再选出正确答案,这一点与韩国高考或资格考试中的选择题很相似。像这样针对一次回答打分,通常称为“单轮评测”。MMLU 论文
选拔专业人才的考试也出现了类似的变化。韩国公司 Law&Company 让自家的法律 AI 服务 SuperLawyer 解答韩国律师资格考试的选择题。2025 年第 14 届考试的 150 道题,它答对了 123 道(82%)。2026 年第 15 届考试的 150 道题,它全部答对(100%)。它在第 15 届考试的选择题部分得到 375 分,高于当年总成绩第一名考生在这一部分的 360 分。这是开发商使用结合法律资料与模型的服务,对两届不同试题进行的实验。另一起与律师资格考试有关的消息是,韩国法务部在 11 月讨论了如何调查过去五年主观论述题答卷中涉嫌使用 AI 的情形。SuperLawyer 公布的结果 · 关于法务部讨论内容的报道
在考场里,重要的是考生有没有独立答题。到了公司,问题就变了。如果 AI 在某些工作上能做得和专家一样好,哪些环节可以交给它,哪些决定应当由人负责?一项比较实际工作成果的实验同样引出了这个问题。OpenAI 的 GDPval 从 44 种职业中选取工作任务,请相关领域的专家在不知道作者身份的情况下比较人和 AI 的成果。2026 年 3 月公布的结果显示,GPT-5.4 提交的成果有 83.0% 被评为与专家作品相当或更好。这里评的是需求已经明确、一次提交的工作成果。如果还要让 AI 听取客户意见后重新确定需求,或在最终审批时判断如何处理例外,公司就得用这些工作本身来检验它。GDPval 评测方法 · GPT-5.4 评测结果
智能体说“已完成”,工作就真的完成了吗?
智能体根据模型的回答读取文件、运行程序,再根据执行结果决定下一步。SWE-bench 把真实软件代码库中报告的问题交给智能体,随后在修改后的代码上运行测试。Terminal-Bench 2.0 则为 89 项需要在终端执行的任务配备了运行环境和检查程序。即便智能体答复“已修复”,只要再次运行时同一个错误还会出现,问题就没有解决。SWE-bench · Terminal-Bench 论文
我们公司也测量了这两者之间的差距。我们针对文件汇总、核对等五项工作构造了 30 个测试案例,使用相同的模型(Qwen3.5 9B)和智能体(OpenCode),每个案例运行三次。
| 检查项目 | 通过数 / 总数 | 比例 |
|---|---|---|
| 程序正常退出的运行次数 | 88 次 / 90 次 | 97.8% |
| 读取输入、结果文件数值和最终答复格式均通过检查的运行次数 | 72 次 / 90 次 | 80.0% |
| 同一任务连续三次均通过的案例数 | 23 个 / 30 个 | 76.7% |
汇总一个 CSV 文件的任务,18 次运行全部通过。核对两个文件中标识编号的任务,18 次中却只有 4 次通过。有时,智能体虽然读了两个文件,仍会漏掉编号,或者打乱原文中的排列顺序。
这也解释了为什么人越来越难逐一评估 AI 的工作。即便 AI 做高考题比人快,有一张标准答案就能评分。要知道两个文件里的某个编号有没有被漏掉,审核人却得重新核对原件。任务越长,审核可能越接近从头做一遍的工作量。因此,可以用程序逐项核对数值和顺序,再让单独的评估智能体阅读原文和工作记录,标出说明中可能遗漏的重要例外。审核人还要留意评估智能体自己漏掉的错误。只有抽查自动通过的结果,才能估算有错却被放行的比例。如何评估智能体的工作成果与执行过程
同一个模型,使用者的经验也会改变结果
我们给智能体编写的界面检查技能里,有一项要求是“更改设置后,先别保存,打开使用记录标签页,再切回设置页。”刚打开设置页时,界面可能一切正常,但按这个顺序操作,刚输入的值可能就不见了。遇到过这个问题的人知道下次检查时该点哪里。把操作顺序和预期结果写下来,智能体就能执行同样的检查。这里所说的“技能”(skill),就是把可重复使用的工作步骤和所需工具整理在一起。
技能由谁编写、怎样编写,也会改变评测成绩。SkillsBench 研究团队用同一个 Claude Code 智能体和 Opus 4.7 模型评估了 87 项任务。不使用技能时通过率为 43.0%,使用专家编写的技能时为 61.2%,让智能体自己编写技能时为 34.9%。将同一个模型和专家编写的技能换到另一个智能体 OpenHands 中运行,通过率为 53.1%。智能体自己编写步骤时,通过率比不用技能低了 8.1 个百分点。两个人即便使用同一模型,能否发现某类失误、能否把经验写成可以再次执行的步骤,也可能让他们得到不同的结果。SkillsBench 论文表 1 和表 6
用公司自己的数据评估什么?
为了选出适合公司工作的模型,并检验员工在实际工作中能否用得起来,我们正在筹备一套评测系统,比较不同的大语言模型(LLM)× 智能体 × 技能组合。前面的文件实验采用的是合成数据,只测试了一种组合。下一步,我们会收集公司处理过的请求、原始资料,以及负责人修改后的定稿,把相同的工作分配给不同组合。例如,针对同一项月度汇总工作,分别采用通用模型和针对公司业务调整过的模型,再为每个模型更换智能体,并分别测试每种组合使用和不使用负责人编写的技能时的表现。还要专门留出某些月份的资料,编写技能时不接触这些资料,才能知道效果能否延续到新数据上。
| 想回答的问题 | 在公司业务中怎样衡量 |
|---|---|
| 是否准确完成了工作? | 在所有请求中,结果数值与原件一致且必填项全部提交的比例。另行统计漏填项和错误数值。 |
| 能否放心再交给它做? | 每个案例运行三次,统计三次均通过的案例比例。按任务类型分别计算,找出容易出错的工作。 |
| 员工的工作量减少了吗? | 统计结果无需修改便可使用的比例,以及负责人花在修改上的时间。与不用 AI 完成同类工作所需的时间比较。 |
| 该停的时候停了吗? | 在需要审批的请求中,统计智能体在执行前停下来等候审批的比例,并记录越权执行的次数。同时统计本可执行却被无故中止的请求比例。 |
| 每完成一项任务要花多少钱? | 将包括失败和重试开销在内的总费用除以通过检查的任务数。处理时间从收到请求算起,直到人可以使用结果为止。 |
这些测量结果应当决定实际授予哪些权限。如果汇总表的合计数与原始资料相符,就可以让 AI 自动生成初稿。如果核对工作反复出现编号遗漏,就配上专门的检查程序。在同一批案例重新通过测试之前,由负责人审核结果。对于向外部发送材料等需要审批的操作,应让执行工具在操作前检查是否已获批准。某种组合只要在评测中跳过一次审批,就不授予它相应的权限。这样,公司才能分别判断该购买哪个模型,以及可以把哪些工作交给它。
仅凭 507 道韩国高考题的成绩,看不出一个模型能否发现公司汇总表中少了一行。最清楚漏掉这一行会影响谁的,是正在使用这张表的负责人。我认为,个性化 AI 的能力差距会从这里逐渐拉大。如果一家公司能把员工亲历的失误写进技能,再用下个月尚未见过的数据来检验它,那么每次更换模型,公司都有能力自行判断,哪些工作可以进一步交给 AI。
