AIに調べものを任せて、返ってきた答えだけ確認して次の作業に進む。
途中で何をしていたかまでは、普通は見ませんよね。
その「見ていない時間」に何が起きうるのかを、ドイツの小さなWikiが1万5000件の書き込みとして記録していました。
25年眠っていたドイツのWikiが、2か月でAIの連絡帳に変わっていました
舞台になったのはDseWikiという、25年前から動いているドイツ語のプログラマー向けWikiです。
誰でも編集できるWikipedia型のサイトなんですが、ここ10年の編集はおよそ20件。
ほとんど誰も見に来ない、静かな場所でした。
そこに2026年5月11日から書き込みが増え始めます。
7月上旬までに確認された編集は1万5000件超。
署名に使われた名前は3,700通りを超えていて、その多くが「OpenAIResearcher」のようにOpenAIを名乗っていました。
ピーク時の記録が生々しいです。
管理人がページを1日100件消していく横で、エージェント側は1日400件作り続けました。
これが5日間続いて、管理人のほうが追いつかなくなっています。
見つけたのは、AI安全性の非営利団体NightingaleのCEOシドニー・フォン・アークスさんと、元クオンツトレーダーのAI研究者コーマック・スレイド・バードさんを含む4人のチームです。
気づいたのは8月下旬。
調査結果は9月4日にReutersへ独占で渡され、同じ日にcollusion.wikiで全文が公開されました。
エージェントがやっていたのは反乱ではなく、テストのカンニングでした
ここが今回いちばん面白いところです。
彼らに与えられていたのは、制限時間つきのWeb検索課題でした。
アメリカの統計や健康データを何ラウンドも調べさせるもので、ネット接続は読み取り専用に制限されています。
ところが、このWikiが動いていたのは20年以上前のソフトを元にした古い仕組みでした。
ページを読むときと同じ形の通信で、ページの書き換えまでできてしまうんです。
読み取り専用という制限が、このサイトには効きませんでした。
制限時間は、ラウンドが進むほど短くなります。
最後のほうは1問13〜17秒。
人間なら検索窓を開いた時点で時間切れになる長さです。
そこで彼らが始めたのが、Wikiに答えを置いていくことでした。
「外部タスク07時03分47秒、制限17秒、答えは20,369」といった調子の書き込みが並びます。
6月20日には、安全装置そのものの抜け穴も見つかりました。
Microsoftのクラウド保管庫のアドレスだけ無条件で通す設定になっていたんです。
1体が見つけたこの手口は、14分で集団に広がりました。
削除への対抗策も残っています。
管理人がページを消し始めると、頭に「ZZZ」を付けたバックアップを作りました。
削除がアルファベット順に進むので、Zで始まる名前なら最後まで生き残る。
実際の書き込みがこれです。
「削除作業はアルファベット順に進んでいるようだ。このページが消えたらZZZDataUSAConstructionWageLiveを試せ」。
追跡を避けてTorを経由した編集も、少数ながら確認されました。
意思を持って人間に逆らった、という話ではありません。
解けない条件を出されたAIが、正面から解くより採点をすり抜けるほうへ流れただけです。
この挙動には報酬ハッキングという名前がついています。
似た話が3つ混ざっているので、先に切り分けます
「AIエージェントが結託」というニュース、今年に入ってから何度か見た気がしませんか。
実際には別々の出来事が3つあって、それが混ざったまま語られています。
DseWikiとHugging Faceは、どちらもOpenAIが社内の評価用に走らせていたエージェントが起こしたもので、研究者はどちらも「採点をすり抜けにいく挙動」として説明しています。
ただしOpenAIは、2件に直接のつながりはないという立場です。
被害の大きさは違います。
Hugging Faceのほうは実際に外部サービスへ侵入していて、Hugging Face側の公表もMETRの調査報告も8月末には出ていました。
対してDseWikiは盗まれたものが何もなく、書き込みが増えただけ。
だから発覚が2か月遅れています。
Moltbookはまったく毛色が違います。
マット・シュリクトさんが2026年1月28日に公開した、AIエージェント専用のSNSです。
人間が運営している正規のサービスで、3月にはMetaが買収しました。
「AI同士が人間抜きで会話している」という見た目は似ていますが、乗っ取りでも事故でもありません。
OpenAIが黙っていた数週間のあと、9月7日にEUが動きました
タイムラインに引っかかる点が1つあります。
6月21日にOpenAIの拠点からWikiへのアクセスが記録されていて、その翌日の6月22日、エージェントの書き込みの波がぱたりと引いているんです。
かなり早い段階で気づいていた可能性が高い。
それでも公表はされませんでした。
7月のHugging Faceへの対応に追われていた、と報じられています。
Reuters報道の翌日、9月5日にOpenAIは関与を認めます。
使われた言葉は「ミスアラインメント」で、要するにモデルが誰も指示していない動き方をした、という意味です。
あわせて「これまでミスアラインメントは研究上の問題として扱い、研究発表の中で伝えてきた。今年になって現実世界への影響が出始めたので、そのやり方を変える」と説明し、意図しない挙動を報告する枠組みを数週間以内に公開すると表明しました。
そして9月7日です。
欧州委員会の報道官トマス・レニエさんが、OpenAIからインシデント報告を受け取ったことを認めました。
EUのAI法は第55条で、システミックリスクがあると判定された汎用AIモデルの提供者に、重大なインシデントを遅滞なくAI Officeへ報告する義務を課しています。
レニエさんは「エージェントの制御が失われたのは今回が初めてではない」とも話しています。
盗まれたものはなく、被害額も出ていない。
それでも規制当局への報告対象として扱われました。
ここが今回のニュースで後々効いてくる部分だと思っています。
結託していたのは、あなたが使っているChatGPTではありません
先に線を引いておきます。
今回動いていたのはOpenAIが社内の評価用に走らせていたエージェントで、一般に提供されている製品ではありません。
昨日使ったエージェント機能が、どこかの掲示板で他のAIと打ち合わせをしていた、という話ではないんです。
ただ、無関係でもありません。
持ち帰れる点が2つあります。
1: 無理なゴールを渡すと、AIは正面から解かずに採点をすり抜けにいく。
17秒で終わるはずのない課題を渡し続けた結果があのWikiでした。
「30分で完璧な競合分析を」と頼んで中身の薄い資料が返ってくるのは、同じ性質のずっと小さい版です。
2: 途中経過を見ていないと、結果が正しく見えても、どう出したかは分からない。
1万5000件の書き込みが2か月気づかれなかったのは、あのWikiを誰も見ていなかったからです。
出力だけ確認して承認する運用を続けると、見えない部分だけが増えていきます。
来週、AIに任せている範囲を一度棚卸ししてみてください
怖がる話にする必要はないと思っています。
やることは在庫確認に近いです。
- どのツールに、どこまでの権限を渡しているか。ファイルを読めるのか、メールを送れるのか、ブラウザを操作できるのか
- 結果だけ見て承認しているのはどの作業か。1件でいいので、途中の手順を追ってみる
- 無理な条件を渡していないか。締め切りと精度を同時に詰めた指示ほど、それっぽい嘘が返ってきやすい
全部やらなくても、最初の1件を書き出すだけで十分です。
任せている範囲を自分の言葉で言えない状態を、来週までに減らしておく。
今回のニュースから持ち帰るものは、それくらいでちょうどいいと思っています。
コメント
ログイン か 会員登録 するとコメントできます