電通の広告コピー採点AIを、中小企業ならどう真似るか。

AI集客@ルイ
AI集客@ルイ

@lui_mkt 27本

サムネイル

広告コピーのA案とB案、最終的に「なんとなくこっち」で決まっていませんか。

電通がこの1年かけて取り組んでいたのは、その「なんとなく」を11万件の評価データに変換する研究でした。

しかも研究がうまくいかなかった部分こそ、中小企業には好都合なんですよね。

電通が1年かけて作ったのは、AIではなく何か。

2026年9月1日、電通・電通デジタル・SB Intuitionsの3社が共同研究の成果を公表しました。

研究の開始は2025年9月25日なので、ほぼ1年かけたプロジェクトです。

成果物の中身がこれです。

電通に所属するコピーライター64名が共通の基準でコピーを評価し、計116,532件の評価データを構築しました。

「ファースト・インパクト」「インサイトの深さ」「言葉選びの妥当性」などの評価観点を整理したうえで、その判定を人間が11万回繰り返したわけですね。

使ったAIは、SB Intuitionsが開発する国産生成AI「Sarashina」。

手法名はLLM-as-a-Judge、AIに採点役をやらせる評価手法で、FIT2026で発表される論文のタイトルにもそのまま入っています。

ここが読み飛ばされがちなポイントです。

モデルをゼロから作ったわけではなく、既にあるSarashinaを活用しています。

1年と64名を投じた先は、モデルそのものではなく評価基準とデータの側なんですよね。

11万件の評価データは、中小企業に作れるのか。

作れません。

64名のコピーライターを1年拘束できる会社はほぼないですし、11万件を64人で割ると1人あたり1,800件超です。

片手間で終わる量ではないですね。

「やっぱり大手の話か」って思いますよね。

ただ、なぜ11万件も必要だったのかを考えると話が変わってきます。

11万件の評価データを1年かけて構築した大規模体制と、中小企業の手元にある数十本のコピーを左右で対比したインフォグラフィック。白背景にティールとコーラルの配色

3社が狙っているのは「日本語コピーライティング特化型生成AI」の実用化で、リリースにも「幅広い分野への適用」という言葉が出てきます。

化粧品でも工作機械でも不動産でも通用する基準を1本で作ろうとすれば、データは当然それだけ要りますよね。

11万件という数字は、汎用性の値札なんです。

自社の1業種分だけでいいなら、必要な量は桁が変わります。

電通がつまずいた場所が、中小企業の強みになる理由。

プレスリリースには、都合の悪い結果もはっきり書かれています。

学習・最適化を行った業種・商材では、AIの評価とコピーライターの評価に一定程度の正の相関が確認された。

一方で未学習の業種・商材では相関が低下し、プロンプト調整のみでは幅広い分野への適用が難しいと。

評価基準が業種をまたぐと精度が落ちる様子と、1業種に絞れば精度が保たれる様子を2本の折れ線で比較した図解。白背景にティールとコーラルの配色

研究としては正直な報告ですが、裏返すと「業種を絞れば効く」と言っているのと同じです。

個人的にはここが一番アツいポイントで、中小企業が持っている条件とぴったり噛み合うんですよね。

自社の業種は1つ。

商材は数えられる範囲。

顧客層もだいたい1つです。

汎用化という一番高い壁を、そもそも登る必要がない。

64名と11万件は、登らなくていい壁の通行料でした。

自社の過去コピーを、何本どう選ぶか。

自社専用の採点AIを作る材料は、過去コピーと実績数字だけです。

本数は20本前後で足ります。

勝ち10本、負け10本。

「勝ち」を感覚で決めると、ここで全部崩れます。

リスティングならCTRとCVR、SNSならプロフィールクリックと保存数、メルマガなら開封率。

媒体ごとに指標を1つ決めて、数字の上位と下位を抜き出します。

負け側を捨てないのが肝心です。

電通も64名に「共通の基準で評価」させています。

評価というのは差を付ける作業なので、スコアに幅のあるデータが必要なんですよね。

勝ちコピーだけ並べてAIに渡すと、全部まとめて「良いコピーです」と返ってきます。

差分がないので当然ですね。

渡し方は、1本ずつではなく20本まとめて、数字を付けたまま投げます。

そのうえで基準を自分で書かずに、AIに書かせます。

以下は同じ商材の広告コピー20本と、それぞれの実績数値です。
上位10本と下位10本を分ける要因を、評価基準の形で言語化してください。
抽象的な形容詞は使わず、第三者が同じ判定を再現できる条件で書いてください。

使うAIはChatGPTでもClaudeでも構いません。

電通のようにモデル側を作り込む話ではないので、手元で普段使っているもので十分です。

自分で基準を書くと、どうしても自分の好みが混ざります。

数字とコピーだけ渡して要因を推定させたほうが、自社の顧客が実際に反応しているポイントが出てきますね。

電通の評価観点を、自社の言葉にどう翻案するか。

公表されたのは「ファースト・インパクト」「インサイトの深さ」「言葉選びの妥当性」の3つです。

リリースの表記は「など」付きなので、実際にはもっとあって非公開と読むのが自然ですね。

公開されている分を自社向けに置き換えると、こうなります。

  1. ファースト・インパクト: タイムラインを親指で流される0.5秒で止まるか。判定条件まで落とすと「冒頭に数字が入っている」「自社名より顧客の悩みが先に来ている」など、自社の勝ちコピーに共通している形式的な特徴になります。
  2. インサイトの深さ: 顧客が自分ではまだ言葉にできていない不満を当てているか。素材は問い合わせフォームの自由記述とレビュー本文です。顧客が実際に使った表現をそのまま基準に書き写します。
  3. 言葉選びの妥当性: 業界用語との距離感です。BtoBでは専門用語が信頼の証になりますが、一般消費者向けだと同じ単語が壁になります。自社がどちら側なのかを明記しないと、採点がブレます。

翻案で失敗するのは、抽象語のまま渡したときです。

「ファースト・インパクトが高いか採点して」だけだと、同じコピーを投げ直すだけでスコアが動きます。

観点名の下に、自社の判定条件を1行か2行足す。

これだけで採点の再現性がかなり上がります。

この基準が効かなくなるのはいつか。

答えは電通の検証結果にそのまま書いてあります。

業種・商材が変われば相関は落ちる。

自社側でも、新商材を出した、ターゲットの年齢層を変えた、主戦場の媒体を移した、このどれかが起きた時点で基準は作り直しです。

一度作った評価基準は資産になりますが、永久資産ではないんですよね。

成果データが溜まったら勝ち負けの20本を入れ替えて、基準も更新する。

四半期に1回くらいの頻度で足ります。

最初の一歩は、勝ちコピー10本と負けコピー10本を数字付きで1枚に並べるところまで。

ここだけなら30分で終わります。

AIに採点させるのはその後でいいので、まずは自社の数字を並べてみてください。