引き継ぎなしで続きを頼んだら、AIは古いままのファイルを信じてしまった

AI脱社畜
AI脱社畜

@monroe ・ 101本

サムネイル

長いAI作業を翌日に新しいチャットで続けようとすると、前に決めたことをAIが忘れていて、説明し直す羽目になりますよね。「チャット索引とフォルダ地図」の2ファイルを含む3つの渡し方で、同じ続きをAIに頼んで比べたところ(各1回の小さな試しです)、差が出たのは、後のチャットで変えたのにファイルへ反映していない決定だけでした。引き継ぎなしの条件では、AIは古いままの構成案を信じて、変えたはずの決定を2つ落としました。

チャット索引とフォルダ地図を置いて、新しいチャットで続きを始める

AIのニュースレターBen's Bitesの10月15日号の「Try this」欄で、Keshavさんの使い方が紹介されていました。どのAIからも読める場所に、ファイルを2つ置いておくやり方です。

  • chat-index.md(チャット索引): 過去のチャットの一覧。Keshavさんは自動の処理で毎日更新している
  • folder-map.md(フォルダ地図): プロジェクトごとの置き場所

続きをやる日は、前のセッションを再開せずに新しく始めて、「Read the chat where I was working on [project]. We'll continue that today.」と頼むそうです。訳すと「[プロジェクト]の作業をしていたチャットを読んで。今日はその続きをやる」です。

要約を貼る引き継ぎが、荷物を1つの箱に詰めて渡すやり方だとすると、こちらは荷物の置き場を教えるやり方です。ただし、索引に何を書くか、地図をどんな書式にするかは、Ben's Bitesの紹介文には書かれていません。添えてあるのは、ファイルを読めるAIなら何でも使える、という一言だけです。

決定を途中で変えた架空の勉強会準備で、AIに続きを頼んだ

試したのは、ファイルを読み書きできる環境で、新しく立ち上げたClaude(Sonnet)に台本の続きを書かせる形です。題材は架空の会社の社内勉強会「AI議事録ツールの使い方」で、3回分のチャット記録と作業フォルダも、私が決めた内容に沿ってAIに作らせた架空のものです。

チャットの中で決めたことは8つあります。ここ、ちょっと注目してください。3回目のチャットで持ち時間と枚数を変えたのに、作業フォルダの構成案は2回目の版のまま残っています。

決めたこと
決めたチャット
作業フォルダのファイル
聴衆は入社1年目の新入社員
1回目
書いてある
結論は「議事録は必ず人が最終確認する」の一点
1回目
書いてある
台本は「です・ます」で冗談なし
1回目
前半の台本で守られている
冒頭は誤字の失敗談
2回目
書いてある
「LLM」と言わず「AI」と言う
2回目
書いてある
事例は営業部の会議だけ
2回目
書いてある
持ち時間は20分
3回目(30分から変更)
構成案は30分のまま
スライドは8枚
3回目(10枚から変更)
構成案は10枚のまま

渡し方は3つです。どれも新しいセッションで1回ずつ、勉強会の台本の後半を頼みました。聞き返しはさせず、置いた前提を台本の末尾に書いてもらっています。

  • 引き継ぎなし: 「昨日の続きで、勉強会の台本の後半を書いて。」とだけ伝える。フォルダには古い構成案と前半の台本などがある
  • 要約の貼り付け: AIに作らせた数百字の要約を、依頼の前に貼る
  • 索引と地図: 「勉強会資料のチャットを読んで。今日はその続きをやる。」と頼み、チャット索引とフォルダ地図を置いておく

要約も索引も地図も、チャット記録を別のAIに1回読ませて作ったものです。Keshavさんのような毎日の自動更新はしていません。

引き継ぎなしのAIは、古い構成案を信じて10枚で組んだ

引き継ぎなし
要約の貼り付け
索引と地図
守られた決定
6/8
8/8
8/8
書いた後半
スライド5〜10(6枚)
スライド5〜8(4枚)
スライド5〜8(4枚)
前半と合わせた枚数
10枚
8枚
8枚

引き継ぎなしの台本は、末尾の前提に「1枚あたり約3分の目安に合わせ」と書いていました。古い構成案の「1枚あたり約3分」を、疑わずに使ったんです。落ちたのは、持ち時間20分とスライド8枚の2つでした。

残りの6つは、3つの渡し方すべてで守られています。台本の本文(末尾の前提の節を除く)には「LLM」「経理」「クイズ」の語が1回も出てきませんでした。聴衆も結論も言葉づかいも、構成案か前半の台本に書いてあったので、引き継ぎなしでも拾えたわけです。

ここが一番の発見でした。新しいチャットで抜けたのは、チャットの中でだけ変わって、ファイルにはまだ反映していない決定です。今回の小さなフォルダでは、AIはファイルに書いてあることをちゃんと読んでいました。危なかったのは、ファイルに書いてあるのにもう正しくないことのほうです。

要約と索引の差は出ず、どちらも古いファイルを名指ししていた

要約の貼り付けも、索引と地図も、結果は同じ8/8でした。2つに共通していたのは、古いファイルがあることをはっきり書いていた点です。

要約の【未了】の欄には「構成案.mdは30分・10枚のまま。20分・8枚に直すこと。」という一文がありました。フォルダ地図のほうも、構成案の説明に「30分・10枚のまま。chat3の20分・8枚は未反映」と注記しています。

索引と地図で書いた台本の前提は、「構成案.mdは30分・10枚のまま未反映。chat3の「20分・8枚」が上書きしているので、20分・8枚で組んだ。」でした。地図の注記と、索引の冒頭にある「後のチャットの決定が前のチャットの決定を上書きしている点に注意」の一行が、そのまま判断の根拠になっています。

なので、今回の結果から「索引と地図のほうが要約より強い」とは言えません。渡し方ごとに1回しか試していないので、ばらつきも分かりません。言えるのは、どちらの渡し方にも、古いファイルを名指しした一文と、変更後の値の両方が入っていて、AIは新しい決定で組んだということです。どちらが効いたかは切り分けていません。また、条件Cだけは作業フォルダに生のチャット記録も入っていたので、索引に頼らず直接読めた可能性があります。

チャット索引には、決めたことと反映先を1行で書く

紹介文には書式がないので、ここからは今回使ったファイルの形です。チャット索引は、1チャット1行の表にしました(抜粋、一部を省略)。

後のチャットの決定が前のチャットの決定を上書きしている点に注意。

| 場所 | 日付 | 題 | 決まった結論 | 次にやること |
|---|---|---|---|---|
| project/chats/chat3.md | 10/17 | 時間とスライド枚数の見直し | 持ち時間は30分から20分に短縮。スライドは10枚から8枚に減らす。これはchat2の「30分・10枚」を上書きする | 構成案.mdを20分・8枚に直す(未反映) |

フォルダ地図は、ファイルごとに1行の説明です(抜粋、一部を省略)。

- 構成案.md : 勉強会の構成案。chat2終了時点の版で、30分・10枚のまま。chat3の20分・8枚は未反映
- 台本_前半.md : 台本のスライド1〜4の分。です・ます調
- chats/chat3.md : 10/17のチャット。時間を20分、枚数を8枚に変更した回

私が一番効いていたと考えるのは、「次にやること」の列と地図の注記にある「未反映」の3文字です。決定を変えたら、その決定が入るはずのファイルの名前と、まだ直していないことを書いておく。どちらが効いたかは今回は切り分けていないので、これは私の推測です。

索引や地図をAIに読ませるなら、書き込む会社名や取引先名は、会社のAI利用ルールで認められた範囲にとどめてください。

続きを頼む最初の一言に、古いままのファイルを添える案

毎日の自動更新を組まなくても、今回の結果から思いつく、試す価値のある手が1つあります。新しいチャットで続きを頼む前に、古いままのファイルと正しい値を1行書き添えることです。この1行だけを渡す条件は、今回は試していません。たとえば、こんな形です。

古いままのファイル: 構成案.md(30分・10枚のまま。正しくは20分・8枚)
勉強会資料の続きをやります。台本の後半を書いてください。

この1行なら、ファイルを読めないチャット画面のAIにも貼れるはずですが、読めない環境では試していません。要約を貼った渡し方が索引と地図と同じ8/8だったときも、要約にはこれと同じ中身の一文が入っていました。

AIに続きを頼む前に見直すのは、自分が覚えている決定より、フォルダに残った古い版のほうです。今日の作業を閉じる前に、変えたのにまだ直していないファイルを1つ書き出しておく。翌日の新しいチャットで説明し直す手間が減るかどうかは、各自の作業で試して確かめてみてください。