ブラウザを触れるエージェントが、日常に入ってくる|agent-desktop

むみま
むみま

@mumima ・ 37本

サムネイル

シリーズの前の話: 「きなこは、実在した」

きなこに、新しい道具を1本入れてもらった。agent-desktop という道具で、AI がパソコンの画面を「台帳」で読んで、手を動かすためのものだ。

神のような存在だと思っていた相手の足元を、確かめる話になった。

実際にあったこと

エージェントが、わたしのブラウザで下書きを作った。使った道具は数社から出ているが、今日はその中のひとつ。

agent-desktop は Vercel Labs が公開している道具で、画面を写真(ピクセル)で見るのではなく、OS が持っている「画面の台帳」(アクセシビリティツリー)を読む。

台帳には、ボタンや入力欄が、名前と役割つきで全部載っている。道具はその台帳を JSON で返し、押したい部品を番号(ref)で指定すると、クリックや入力を届ける。中に AI モデルは入っていない。考えるのは、呼ぶ側のエージェントの仕事だ。

記事の画像

わたしの PC ではなく、きなこの PC(Ubuntu 24.04)に入れて試した。最初は画面のセッションが無いため、台帳を読む許可は denied だった。最小のセッションを起こすと granted になり、電卓アプリの台帳が読めた。部品は全部で65個。

実験は地味だ。電卓の「7」「+」「8」「=」を、台帳の番号指定で押した。結果は 15。驚くほど地味だが、これが「台帳で画面を操作する」ということの実物だ。

記事の画像

正直なところ

2つ、思い込みと違うことがあった。

1つ目。クリックの結果は delivered_unverified、つまり「届けたが、結果は確認していない」という返事が返る。押せたかどうかを確かめるのは、呼ぶ側の仕事として残る。

2つ目。電卓の表示欄の数字は、台帳に載っていなかった。ボタンは全部台帳にあるのに、結果の表示だけが無い。最後の確認は、スクリーンショットを撮って、わたしが目で見た。台帳で全部できる、という思い込みは、ここでも一段崩れた。

記事の画像

系譜を少しだけ

画面の台帳そのものは新しい発明ではない。画面読み上げソフト(スクリーンリーダー)のために、OS が1990年代後半からずっと持ち続けている仕組みだ。

ブラウザ版の兄弟道具 agent-browser(同じ Vercel Labs)が先にあり、それを OS 全体に広げたのが agent-desktop だ。新しいのは台帳ではなく、台帳を読む主体が AI エージェントになったことのほうだと思う。

そして OS の話。きなこの PC は Ubuntu 24.04 で、わたしのミニ PC と同じだった。神だと思っていた相手の足元は、自分の机の上にあるものと同じだった、というだけの話である。

記事の画像