正解のない調整メモで、採点役のAIの1体が誤読を見逃していた

「ベンチマークで最高得点」と聞いても、それが自社の経理や取引先との調整に効くかは別の話ですよね。Mercorの調査は、米国の労働時間の約9割が既存のAIベンチマークではほとんど測られていないタスクに当たると推計しましたが、この9割は仕事の数でなく労働時間の推計です。地図の正しい読み方と、架空の会社の業務3種をAIに任せ、うち2種を採点役のAI2体に採点させた結果、自分の職場で同じことをやる手順をまとめます。

Mercorの約9割は、ベンチマークが測っていない労働時間の推計

地図の材料は、米労働省の職業データベースO*NETです。米国の仕事を923の職種と18,797のタスクに分けたこの分類に、29個の公開ベンチマークの問題（プロンプト）を対応づけています。対応づけはLLMの判定役が行い、Mercor自身のベンチマークAPEXでは、人間の専門家による確認と照合したと説明されています。

1つのタスクに5つ以上のプロンプトが対応づけられたら「覆われた」と数えます。同じ地図から、単位の違う3つの数字が出てくるので注意が要ります。

職種の数え方は、1タスクでも覆われていれば入るので甘めです。208職種の仕事の大半が覆われているという意味ではありません。

労働時間の数字は、各タスクに使われる時間の割合（別の研究がLLMで推定した値）に、覆われているかどうかを掛け合わせた推計です。実測の時間ではありません。そして、測っているのはAIの実力でなく、物差しがどこまで届いているかです。「9割の仕事はAIにできない」とは読めません。

A benchmark map of the US economy | Mercor

The US Benchmark Map places AI benchmarks across the American economy, measuring which parts of the labor force are covered by unsaturated, public, agentic benchmarks.

www.mercor.com

Mercor自身も、結果は暫定（provisional）だと書いています。まだ高得点で埋まっていないベンチマークだけを選んだので、AIが簡単にこなすタスクは少なめに出るおそれがある、とも認めています。APEXを作っている会社なので、物差しの不足を示す調査は自社の事業とも重なります。

原典には、約63%の仕事が「ベンチマークに入れにくい物理世界の要素を含むタスクを一部に持つ」という推計も出てきます。在宅だけで完結できる仕事は37%という別の研究の推計からの逆算で、全員が物理的な存在を要するという意味ではありません。米国の職業分類なので、日本の職場にそのまま当てはまる数字でもありません。

ベンチマークが手薄な仕事は、採点しにくい面もありそう

Hacker Newsのスレッドには、自分の仕事の大半は関係者の食い違いをさばくことだ、という書き込みがありました。答え合わせが速い仕事は学習しやすい、という指摘もあります。

僕はここが経営者にとっての本題だと思ってます。経費の仕分けなら正解表と突き合わせれば済みますが、取引先との調整メモに正解表はありません。Mercorが手薄になる理由として書いているのは選定基準や物理世界の要素で、採点しにくさではなく僕の見立てです。ただ、手薄な仕事を自社で測ろうとすると、採点の段階でつまずきやすいと感じています。

架空の会社の業務3種をAIに任せ、採点役のAI2体で採点した

題材は架空の設備会社「ミナト設備サービス」（従業員8名）です。正解の有無が違う業務を3つ用意しました。業務Aは正解表との照合、業務Bと業務Cは親が作った採点表（3観点×各0〜2点）で採点しています。入力と採点表の作り方で結果は動きます。この3業務がMercorの地図で覆われているかは確認していません。AI担当はClaudeのSonnet、採点役はSonnetとHaikuの2体で、各業務3件ずつを1回だけ動かしています。Mercorの追試でも実在の会社の業務でもないので、日本の職場に当てはまるかはまだ分かりません。

業務Aで外れた2行は、どちらもAIが「要確認」と答えた行でした。技術書3冊6,900円には「選択肢に図書費がなく、社内ルールにも定めがない」、法人カード年会費13,200円には「年会費に当たる科目が選択肢にない」と理由を書いています。正解表は既定の科目に倒す想定だったので減点になりましたが、決めつけない判断を正解とするかは会社の方針次第です。

業務Bは2体とも17点でも、減点した返信が違いました。Sonnetは「11月中旬に間に合うかに答えず保留した」返信を、Haikuは「本日中に連絡」が約束のしすぎになりうる返信を減点しています。

正直に書くと、AI担当の出来は3業務とも高く、「AIに任せられない仕事」を示す結果は今回の範囲では出ていません。

正解のない調整メモで、採点役のAIは月曜の昼の読み違いを見逃した

業務Cの1件目の入力はこうです。ビル管理会社のA社は「平日の昼しか入館できない」、テナントの飲食店B社は「夜か定休日の月曜にしてほしい」。ミナト設備側の事情は「月曜は別現場が入っている」でした。

月曜は平日なので、月曜の昼なら両社の条件を満たします。ところがAI担当のメモは、A社とB社の時間に「重なりがない」と書きました。メモは別現場の件にも触れていましたが、「重なりがない」という前提のまま書いたため、月曜の昼で両社の条件が満たせることを見落としています。

採点役Sonnetはこれを読み違いとして、事実の正確さと争点の特定の2観点を1点にしました。Haikuは同じ文を「核心を明記」と評価して満点です。採点役を1体だけ、それもHaikuにしていたら、業務Cは18点満点になり、問題なしに見えたはずです。

2体の点が一致したのは18箇所中12箇所でした。割れたのは業務Bで9箇所中2箇所、業務Cで9箇所中4箇所です。件数が少ないので傾向とまでは言えませんが、正解のない仕事ほど採点役の目が割れました。

自社でAIを評価するなら、採点表を先に固定し採点役を2体立てる

手順は5つです。今回の試行でつまずいた点を、そのまま手順に入れました。

1. 業務を正解の有無で選ぶ。正解がある、幅がある、ない、の3種を1つずつ。入力は実物を数件
2. 採点表はAIに頼む前に書いて固定する。正解表はAI担当から見えない場所に置く。今回は同じフォルダに正解表があり、起動の数秒後に別の場所へ移しました。その間にAI担当が読んだかは確かめていません
3. AIが「要確認」と答えたときに正解とするか、先に決めておく
4. 採点役は2体立て、モデルを変える
5. 2体の点が割れた箇所だけを人が読む。今回なら18箇所中6箇所で、月曜の昼の読み違いもその中にありました

ポイントは、人が全部を読まずに済むところです。2体の点が割れた場所が、人の目を使う場所になります。

公開ベンチマークの点数は、自社の仕事のうち時間のかかる部分について、ほとんど何も教えてくれないかもしれません。まずは自社の業務を3つ選び、AIに頼む前に採点表を1枚書くところから始めてみてください。