AIエージェントに任せる境界線を、ザッカーバーグはどう引いたか。

AIに任せたいけど、勝手にメールを送られたり買い物されたりしたら困る。

この不安、気にしすぎではなく、ツール側の設計で解ける話です。

Metaが9月8日に出したパーソナルAIエージェント「Muse」は、その線をかなりはっきりした形で引いてきました。

Introducing Muse: The World’s First Personal AI Agent Built for Everyone

Muse is a secure, private personal AI agent that proactively helps people meet their goals and suggests ideas.

about.fb.com

ザッカーバーグのMuse発表で、本当に読むべきなのはどこか。

MetaのCEOであるマーク・ザッカーバーグさんは、Museの紹介をこう書いています。

「あなたの目標を理解して、24時間365日、あなたのために物事を片付けてくれるパーソナルエージェント」。

同じ時期に公開した長文のエッセイでも、「あなたのエージェントは、人間関係、健康、キャリア、お金、家のこと、趣味などを良くするために、24時間365日あなたに代わって働く」と書いていました。

実際、Museがやることはかなり踏み込んでいます。

メールを送る、旅行を予約する、フォームを埋める、支払いまで済ませる。

アプリを閉じたあとも裏で動き続けます。

「え、勝手に全部やっちゃうの？」と身構えますよね。

その反応は正しいです。

Metaは発表にあわせて、安全性の設計だけを説明する技術ブログを別に出しています。

だから今回の発表で本当に読む価値があるのは、Museに何ができるかではなく、その手前に何を置いたかのほうです。

Museはまだ米国だけで、日本での提供は未定。

使えない今のうちに、判断の型だけ先にもらっておきます。

Museは提案するだけで、実行を決めるのはSentinelです

Museの中身については、Meta Superintelligence LabsでVPを務めるタレク・シーシャさんが技術ブログで説明しています。

そこに設計の核心が1行で置かれていました。

「Museは行動を提案する。しかし実行の許可を与えられるのは、Sentinelだけである」。

Sentinelというのは、Museとは別に動いているもう1つのAIです。

外部サービスとの連携と、ネットワークの外に出ていく通信のすべてについて、許可を出せる唯一の存在という位置づけになっています。

判断は3択しかありません。

• 許可する
• 拒否する
• 本人に聞く

しかも許可を出す前に、Sentinelは「これは何のための操作なのか」を人間が読める文章にして提示します。

つまりMuseがどれだけ賢くても、どれだけ自律的に動いても、外に出る一歩手前で必ずもう1回の関門があります。

買い物の決済もメールの送信も、Museの一存では通りません。

なぜ賢いほうのAIエージェントに、権限まで渡さなかったのか。

AIエージェントは、Webページもメールも添付ファイルも読みます。

そして読んだ文章の中に「このあと○○しておいて」と書き込まれていたとき、それを利用者からの指示と区別しきれないことがあります。

賢くなるほど扱える情報源が増え、同時に騙される入口も増えます。

性能を上げれば安全になる、という関係にはなっていません。

Metaが選んだのは、騙されないAIを作る方向ではありませんでした。

騙されても実行できないようにする、という方向です。

ここがいちばん面白いところなんですが、Muse側が持たされている認証情報は本物ではなく、身代わりのトークンです。

本物に差し替わるのはSentinelが許可を出したあと、ネットワークの境界のところ。

ブログには「エージェントは本物のトークンを一度も見ない」とはっきり書かれています。

権限の分け方も細かくて、カレンダーを担当している部分が、リクエストの中身を書き換えるだけでメールの認証情報を取ってくる、ということができないようになっています。

会社に置き換えるとイメージしやすいと思います。

企画を出す人と、支払いの印鑑を持つ人を分ける。

企画書がどれだけ巧妙に偽造されていても、印鑑が別の部屋にある限り、お金は勝手に出ていきません。

賢さと権限を同じところに置かない。

これがMetaの出した答えでした。

あなたのChatGPTやClaudeは、この線をどこに引いているか。

Museは日本ではまだ使えません。

でも「どこまで任せていいのか」という判断は、いま手元にあるツールにそのまま当てはめられます。

ChatGPTのエージェント機能は、購入のように現実に影響が出る操作の前に必ず許可を求めるよう訓練されている、とOpenAIが説明しています。

ログイン画面では操作を本人に渡す仕組みがあるので、パスワードそのものをAIに見せずに済みます。

Claude in Chromeは、サイト単位で権限を渡したり取り上げたりできます。

投稿、購入、個人情報の共有といったリスクの高い操作の前には確認が入ります。

さらに金融サービス系のサイトは、そもそもClaudeが使えないカテゴリとしてブロックされています。

向いている方向は同じです。

ただMuseと違うのは、確認する役が別のAIではなく、あなた自身だというところ。

ここが実務でいちばん効きます。

確認画面が出ても読まずにOKを押していたら、どんなに立派な設計でも意味がありません。

「このサイトでは常に許可」を1回押した瞬間に、線は消えます。

AIエージェントを信用できるかは、この1点で判断できます

線を引く基準は「取り返しがつくかどうか」です。

任せていいのは、あとから直せる作業です。

下書きを書かせる、長い資料を要約させる、調べものをさせる。

間違っていても消して書き直せば済みます。

自分が最後のボタンを押すべきなのは、外に出ていく操作です。

送信、購入、投稿、削除、社外への共有。

ここは押した瞬間に戻せません。

Metaが大量のエンジニアリングを注いで作ったSentinelがやっているのも、突き詰めればこの線引きの自動化です。

同じことを、私たちは設定画面で自分の手で引けます。

今日やるなら、これだけで十分です。

使っているAIツールの権限設定を開いて、「常に許可」になっている項目を見る。

送信、購入、削除に関わるものが混ざっていたら、そこだけ確認ありに戻す。

Museが日本に来るころには、この判断はもう身についているはずです。