AIに書かせた文章は、手直ししてもバレるのか？

AIに書かせた文章は、手直ししても言い回しが変わるだけで、文章の骨組みにAIの声が残ります。直したはずの原稿なのに読むとやっぱりAIっぽい、あの感じの正体はそこにありそうです。同じ社内報の下書きをAIに2通りの頼み方で直させて比べ、手直しで消える部分と消えない部分、どこからAIに任せないかの線を引いてみます。

「手直ししても声は残る」と書いた人がいます

2026年10月29日、『リファクタリング』の著者で、ソフトウェア設計の分野で知られるマーティン・ファウラーさんが、自身のサイトに「LLM Voice」という短い文章を載せました。LLMはChatGPTやClaudeのような文章を書くAIのことで、LLM Voiceはその文章ににじむ独特の声を指します。

ファウラーさんは、LLMの文章を読むと「文章の不気味の谷」にいる感覚になると書いています。不気味の谷は、人に似ているのに少しだけ違うものに覚える違和感のことです。そうなると読み進める気がしぼみ、ときには嫌悪に近くなるそうです。

そのうえで、人が手を入れてもLLM Voiceを追い出すのはとても難しい、と続けます。書き手には、LLMに下書きを書かせる罠にはまらないよう強く勧めていました。

bliki: LLM Voice

The uncanny valley of LLMs' prose

martinfowler.com

面白いのは、本人も見分け方を言葉にしきれていないところです。なぜそう感じるのかは必ずしも定義できないと前置きし、よくある兆候として「エムダッシュではなく、load-bearing tapestries だ」と挙げるだけで、説明はありません。tapestry はWikipediaの編集者向けガイドでもAIが多用する語に挙がっていて、私は大げさな比喩のことだと受け取りました。

"adopting a new sales motion" のような言い回しに身構えつつ、人の口からも聞くので世代の差かもしれない、と打ち明けてもいます。言い出した本人でさえ、どこで分かるのかを決めきれていないんです。それなら、手直しの前と後で何が変わり、何が残るのかを実物で比べてみることにしました。

同じ社内報を、AIに2通りの頼み方で直させる

題材は架空の会社「みなと物流」の社内報で、経費精算をスマホのアプリに切り替えるお知らせです。11月開始、新しい4つの手順、処理時間が12分から4分になる試算、営業部20人の試行と2つの声、説明会の日程、問い合わせ先。この7行のメモからAIに下書きを書かせ、A0としました。

Claudeを役ごとに新しく立ち上げ、書き手・直し役・判定役が互いのやりとりを知らない状態で動かしています。A0を別々の直し役に渡し、2通りに直させました。

A1は、AIっぽいと言われたときによくある頼み方です。A2は、ファウラーさんの指摘に寄せて、何を削るのかを具体的に伝えました。

そのうえで背景を知らない判定役を2体用意し、3本をタイトルを外して並び順を変えて渡しました。それぞれ、AIが書いた可能性を1〜5で付けてもらっています（5がほぼ確実にAI）。

「AIっぽさを消して」で変わったのは言い回しだけでした

A0には、メモに無い文が入っていました。「上長が外出していて判子がもらえない、申請書を持ち歩くうちに領収書をなくしてしまった。そんな経験のある方も多いのではないでしょうか。」という共感の一文です。ほかにも「最初は戸惑う方もいると思いますので」「遠慮なく」「ぜひご参加ください」と、読み手をなだめる言葉が続きます。

A1では、これがこう変わりました。

3組とも、決まり文句が同じ働きをする別の言い回しに入れ替わっただけなんです。共感で入り、手順、効果の数字、試した人の声、安心させる一言、説明会の案内、問い合わせ先と続く並びはA0のまま。字数も583字で同じでした。

「AIっぽさを消して」と頼んだことがあるなら、戻ってきた原稿もこうなっていなかったでしょうか。直し役からは「AIっぽく聞こえる問いかけ、決まり文句の前置き、毎回同じ文末を、普段の言い回しに置き換えました」と報告がありました。頼まれたことは、きちんとやっているんです。

決まり文句を語のリストで数える点検ツールにもかけてみました。A0で1件見つかった「〜のではないでしょうか」は、A1では0件です。「身に覚えのある方も多いと思います」はリストに無いので、数えようがありません。点検ツールの上では、A1はきれいに直ったように見えるんです。

判定役のAIは、どこを見ていたのか？

2体ともA0をいちばんAIっぽいと見ました。割れたのはA1とA2の順位で、「人が書いた可能性がいちばん高い」に、判定役1はA1を、判定役2はA2を選んでいます。

判定役1はA1について「困りごとを短い文で切って置く、理由を後から足す、『どうぞ』で終える。整えきれていない癖が残る」と書き、人寄りと判断しました。見ていたのは語尾と文の切り方です。

判定役2の見方は違いました。A1は「語尾は人間らしいが、骨組み（共感、声とその理由、安心させる一言、くまなく拾う呼びかけ）はXと同じ。AIのものを残している」。ここでのXはA0のことです。

直したはずなのにAIの声がする、というのはこれのことだと思います。語尾をいくら人間らしくしても、何をどの順で置くかが同じなら、判定役2には同じ型として読まれていました。

骨組みが崩れたのは、文ごと削ったとき

A2では、共感の一文、「会社に戻るまで領収書を抱えておく必要がなくなりました」という推測、「戸惑う方もいると思います」が文ごと消えました。「遠慮なく」「ぜひ」も落ち、メモに無い文がなくなったぶん180字短くなっています。

判定役2はA2を「骨組み自体がなく、事務的な事実だけ」と評しました。言い回しを替えても残った骨組みが、その文を置くかどうかを決め直したときに、はじめて崩れたことになります。

ただ、判定役1はA2に「癖がなさすぎて判断がつかない」として3を付けています。削れば人間らしくなる、という単純な話でもありませんでした。メモの事実だけになった文章は、AIらしさと一緒に書き手らしさも薄くなるのかもしれません。

AIに任せないのは、どの文を置くかの判断です

手直しで消えたのは、決まり文句と語尾でした。消えなかったのは、共感で入って安心させる一言で締める流れ、つまり何をどの順で書くかです。AIに「自然にして」と頼んでも、この流れはそのまま戻ってきました。

今回の結果から引ける線は、メモに無い文を足すかどうかと、どの順で並べるかを決めるところまでは自分でやる、です。言い回しの直しを後からAIに手伝わせても、骨組みは動きませんでした。

ファウラーさんの線は、もっと手前にあります。構成をLLMで作る人もいると聞く、それは「okかもしれない」が構成案までに限る、と留保をつけて触れるだけで、勧めてはいません。本人は文章を書かせるのにも構成の手伝いにもAIを使わず、書くときに使うのは検索だけで、情報は必ず元をあたるそうです。言い換えの提案を受け入れることさえ危ない、という一文もあります。残ったのが骨組みだったことを思うと、構成にまで留保をつける理由が見える気がします。

任せてよい場面も挙げています。役人に宛てる定型の手紙や、誰も読まないだろう報告書です。サイトの寄稿者で旧友のジム・ハイスミスさんは、パーキンソン病に負けずに書くのにLLMが欠かせません。ファウラーさんは、その知恵を受け取り続けるためなら喜んでLLM Voiceに付き合うそうです。

手直しで消せた例も、ファウラーさんが出会ったものとして1件だけ脚注にあります。最初の下書きが全部LLMだと分かっているのに、完成稿からはLLM Voiceを感じなかった。ただし、大手の定期刊行物のプロの編集者が仕上げていた、という条件つきです。

あなたが書いているのは、誰も読まない報告書と、読んでもらうための文章のどちらでしょうか。社員に読んでもらう社内報なら、読まれる側です。そこでは、どの文を置くかまではAIに渡さないほうがいい、というのが今回の比較から私が引いた線です。

この比べ方で分かること、分からないこと

今回の判定役はAIです。人が手で直した文章や、人が一から書いた文章とは比べておらず、人の読み手にも読ませていません。書き直しも判定も各1回で、判定役は2体だけです。

ファウラーさん自身、AIの判定ツールには精度の面でも懐疑的です。何を読んでいるのかをツールに聞きたくなった時点でもう手遅れで、ツールがLLMはいないと自信を持って言っても変わらない、と書いています。判定役のAIの点数は、人の読み手の代わりにはなりません。

それでも判定役2の見立てのおかげで、残る癖の在りかは見えました。手直しした原稿を読み返すときは、語尾より先に、メモに無い文が混ざっていないか、共感で入って安心させる一言で終わっていないかを見てみてください。