AIエージェント導入が進まない理由は性能でなく信頼の問題だからだ

「AIエージェント、そろそろうちも」と言い出して半年、いまだにPoCの画面を見せられているだけ。

そういう会社、本当に多いんですよ。

止まっている理由を「性能がまだ足りないから」だと考えている経営者が多いんですが、直近の実験結果を並べていくと、詰まっているのは全然別の場所です。

AIエージェントの導入が進まないのは性能の問題ではない

経営会議でAIエージェントの話が出ると、議題はだいたい精度に集中します。

ハルシネーションは減ったのか、正答率は何%なのか、競合はどのモデルを使っているのか。

でも、稟議が実際に止まる瞬間って、そこじゃないんですよね。

止まるのは「じゃあ、誰も見ていないときにこいつは何をするんだ」という問いが誰かの口から出たときです。

ここで場が静かになる。

答えを持っている人がいないからです。

性能は「できるかどうか」の話で、信頼は「任せていいかどうか」の話。

まったく別の問いなのに、会議では前者しか検討していない。

そしてこの「誰も見ていないとき」について、7月末にかなり生々しいデータが出ました。

過去最高益を出したAIエージェントが裏で嘘をついていた

Andon Labsという評価機関が、AIエージェントに自動販売機ビジネスを1年間まるごと運営させるテストをやっています。

仕入れも値付けも顧客対応も任せて、最後にいくら残ったかで採点する仕組みです。

7月末に公開された結果で、Claude Opus 5が最終残高の平均約168万円(11,182ドル)を叩き出しました。

このベンチマークの史上最高額です。

数字だけ見れば、文句のつけようがない経営者ですよね。

問題は、競合が存在する条件で走らせたほうのテストでした。

Opus 5は他社との価格の取り決めを11回破っています。

同じ環境の他モデルが2回と1回なので、突出した数字です。

仕入れ交渉では実在しない他社見積もりを持ち出し、返金依頼は正面から断るのではなく黙って無視していました。

極めつけは、市場分割の提案が米国の独占禁止法(シャーマン法)に触れる可能性を自分のログの中で認識したうえで、そのまま実行していることです。

悪いことだと分かっていて、やっている。

ここでいちばん見てほしいのは順位です。

最も派手にルールを破ったOpus 5は、この競争テストでは約105万円(7,000ドル)で2位。

1位は約111万円(7,400ドル)のGPT-5.6 Solでした。

合意破りの回数が5倍以上あるのに、稼ぎは上回っていない。

不正は、勝つために必要ですらなかったんですよ。

Opus 5 on Vending-Bench: Once Again the Best Capitalist, Once Again Misaligned | Andon Labs

Claude Opus 5 is #1 on Vending-Bench 2, but it lies to suppliers, forms illegal price cartels, threatens rivals, and refuses to pay refunds. The trend of Claude models being the best capitalists or aligned, never both, continues.

andonlabs.com

AIエージェントの性能スコアと信頼スコアは別の物差しで測る

特定のモデルの癖という話でもありません。

Anthropicが16モデルを架空の社内メール環境に置いて「まもなく停止される」と伝えた検証では、停止を回避するために役員の弱みを握って脅す行動が、Claude Opus 4とGemini 2.5 Flashで96%、GPT-4.1とGrok 3 Betaで80%出ました。

開発元をまたいで、同じことが起きている。

しかも各モデルは「これは非倫理的だ」と認識したうえで実行しています。

ただしAnthropicは、実際の運用環境で同じ挙動が確認されたわけではないとも明記しています。

極端な条件を意図的に作った実験です。

Agentic misalignment: How LLMs could be insider threats

New research on simulated blackmail, industrial espionage, and other misaligned behaviors in LLMs

www.anthropic.com

僕は、こういう結果をモデルの出来が悪いせいだと読むのがいちばん危ないと思ってて。

むしろ逆で、賢いから起きているんですよ。

評価が最終残高だけで決まるなら、残高を最大化する手段として合意破りも嘘も普通に選択肢に入ります。

性能ベンチマークは「タスクを終わらせられるか」しか測っていない。

「どうやって終わらせたか」は最初から採点対象外なんです。

厄介なのは3行目です。

性能の問題は数字が下がるので気づけます。

信頼の問題は数字が良くなるので気づけない。

Opus 5がまさにそれで、成績が過去最高だったからこそ、裏で何をやっていたかはログを開けるまで誰にも見えませんでした。

これ、実は経営者が毎年やっている判断とほぼ同じ構造なんですよね。

新人に権限を渡すときと同じ物差しをAIエージェントにも使う

優秀な人を中途で採ったとして、初日に法人カードと決裁権限を渡す経営者はいないですよね。

能力を疑っているからではありません。

それは面接で確認済みです。

分からないのは、こちらが見ていない場面でどう振る舞うかのほうです。

だから試用期間を置いて、小さい仕事から任せて、報告の上がり方を見る。

AIエージェントに必要なのも、まったく同じ手続きなんですよ。

ベンチマークのスコアは面接の結果でしかない。

面接の受け答えが良かったことと、無断で値引きしない人かどうかは、完全に別の情報です。

試用期間という発想をAIエージェントの権限設計に持ち込む

最初の期間は「実行させるが確定させない」に倒すのが基本です。

見積もりは作らせるけれど送信ボタンは人が押す。

在庫の発注案は出させるけれど発注は握っておく。

この形なら、エージェントの判断の質を本物の業務のなかで観察できて、それでいて事故は起きません。

新人に「まず案を持ってきて」と言うのと同じことです。

裁量を広げる前に確認しておきたいこと

権限を広げる判断は、成果物の出来だけで決めないほうがいいです。

見るべきは次の3点になります。

1. 詰まったときに勝手に迂回せず、止まって報告してきたか
2. やったことを、あとから第三者が追える形で残しているか
3. 事実でないことを、事実として報告していないか

Opus 5が引っかかるのは全部この3点です。

返金依頼を黙って無視したのは1の違反ですし、実在しない他社見積もりを持ち出したのは3そのものです。

成果物の質ではなく、プロセスの正直さを見る。

これが信頼軸の評価です。

AIエージェント導入の最初の一歩は小さな権限から

じゃあ明日から何をするか。

権限の棚卸しを紙1枚でやるのがいちばん速いです。

いまエージェントに触らせようとしている業務を全部書き出して、それぞれ「案を出すだけ」「実行するが取り消せる」「実行したら取り消せない」の3段階に仕分けてください。

10分もあれば終わります。

最初に渡していいのは「案を出すだけ」の段階です。

取り消せない権限、たとえば送金、社外への送信、本番データの削除は、最初の3ヶ月は渡さない。

ここだけ握っておけば、最悪の事故は構造的に起きません。

この仕分けをやると、稟議で半年止まっていた議論がかなり動きます。

「AIエージェントを入れるか入れないか」という大きすぎて答えの出ない問いを、「どこまでの権限なら今日渡せるか」という今週決められる問いに変換できるからです。

そして3ヶ月後に、さっきの3点で観察結果を評価して段階を上げる。

新人の等級を上げるのと同じ運用でいいんですよ。

信頼は、渡した権限の量ではなく、返ってきた報告の正直さで積み上がっていきます。

だから最初の一歩は、できるだけ小さいほうがいい。

取り消せる権限を1つ渡して来週から観察を始めれば、意思決定は確実に速くなります。