音楽生成 / クリエイティブAI / ブラウザツール / Webカメラ / Gesture Synth

jerrylearner

2026/08/20

手をかざすだけで音楽が鳴る？Gesture Synthでブラウザから演奏する方法

PR：本記事ではブラウザ音楽ツール「Gesture Synth」を紹介しています。記事構成・下書きの一部に生成AIを使用しています。

「楽器は弾けない。でも、ちょっと音楽を作って遊んでみたい」

そんなとき、普通ならDAWをインストールしたり、MIDIキーボードを用意したり、コード進行を覚えたりする必要があります。

でも、もし自分の手そのものが楽器になるとしたらどうでしょう。

Webカメラの前で指を1本立てる。

次に2本。

手を高く上げる。

それだけでコード、ドラム、ベース、ビジュアルがリアルタイムに変わっていく。

そんな少し変わった音楽体験ができるのが、Gesture Synthです。

ブラウザだけで動き、ソフトのダウンロードもアカウント登録も不要。

さらに演奏した内容を15秒の縦型ミュージック動画として記録できるので、単なる「音が鳴る実験サイト」ではなく、SNS向けのクリエイティブツールとしても使えます。

今回は、Gesture Synthで何ができるのか、実際にどう操作するのか、そしてどんな人に向いているのかを整理してみます。

Gesture Synthとは？手のジェスチャーで演奏できるブラウザ楽器

Gesture Synthは、Webカメラを使って手の動きを認識し、そのジェスチャーを音楽へ変換するオンライン楽器です。

基本操作は驚くほどシンプル。

カメラに向かって、

指を1本立てる
2本立てる
3本立てる
4本立てる

というジェスチャーをすると、それぞれ別のコードが鳴ります。

さらに、手を上下に動かすことで音楽全体のエネルギーも変化します。

手を高くすると、音が明るくなり、ドラムやビジュアルもより強く反応。

逆に低い位置へ動かすと、少し落ち着いた雰囲気になります。

つまり、鍵盤を押す代わりに、

「指の本数」と「手の位置」で音楽をコントロールする

という仕組みです。

楽器演奏というより、手を使って音を「指揮する」感覚に近いかもしれません。

音楽経験がなくてもコードが破綻しにくい仕組み

こういうツールを見て最初に気になるのは、

「適当に指を出したら、変な音にならないの？」

ということですよね。

Gesture Synthでは、各ジェスチャーが現在選んでいる音楽スタイルのコード進行に割り当てられています。

たとえばDreamyスタイルでは、

1本指：Cmaj7
2本指：G6
3本指：Am7
4本指：Fmaj7

という組み合わせ。

完全にランダムな音を鳴らしているわけではなく、最初から同じ雰囲気の中で自然につながりやすいコードが用意されています。

そのため、

音楽理論を知らなくても、とりあえず指を変えていくだけで「それっぽい演奏」になりやすい。

ここがGesture Synthの一番わかりやすいポイントです。

詳しいジェスチャーと各スタイルのコードについては、公式のGesture Controlsページでも確認できます。

基本操作は「1〜4本の指＋握りこぶし＋手の高さ」

Gesture Synthで覚える操作はそれほど多くありません。

1本指：最初のコード

DreamyではCmaj7。

柔らかく広がるような響きで、演奏のスタート地点として使いやすいコードです。

2本指：次のコードへ

DreamyではG6。

1本指から2本指へ変えるだけで、曲が少し前へ進んだような感覚になります。

3本指：少し感情的な響き

DreamyではAm7。

明るい雰囲気の中に少しだけ切なさが入るので、コード進行に変化をつけやすいポジションです。

4本指：進行をまとめるコード

DreamyではFmaj7。

1〜4本の指を順番に変えていくだけでも、簡単なコード進行として成立します。

握りこぶし：一時停止

手を握ると、現在鳴っているコードを止められます。

音を鳴らし続けるだけでなく、途中に「間」を作れるので、演奏っぽさが一気に出ます。

手を上下：音楽のエネルギーを変更

ここが単なる「指の本数で音を鳴らすサイト」と違うところです。

手を高く上げると、音の明るさやドラムの勢い、画面のビジュアル表現が強くなります。

逆に手を下げると、音楽全体が少し落ち着きます。

たとえば、

低い位置からゆっくり手を上げていく

だけでも、曲が徐々に盛り上がっていくような演出を作れます。

3種類の音楽スタイルで雰囲気が大きく変わる

Gesture Synthには、現在3つの音楽スタイルが用意されています。

同じ「1本指、2本指、3本指、4本指」という操作でも、選ぶスタイルによってコード進行、リズム、ベース、画面の雰囲気が変化します。

Dreamy

柔らかく、広がりのあるポップ寄りのサウンド。

テンポは92 BPM。

空気感のあるシンセ、穏やかなドラム、キラキラしたビジュアルが組み合わされています。

最初にGesture Synthを触るなら、一番わかりやすいスタイルです。

Lo-fi

少しゆるく、温かい雰囲気のLo-fiサウンド。

テンポは78 BPM。

コードはDm9、G7、Cmaj7、A7という進行になっていて、Dreamyとはかなり印象が変わります。

ゆったり手を動かしながら遊びたいときや、落ち着いた映像を作りたいときに向いています。

Cinematic

より重く、ドラマチックなサウンド。

テンポは84 BPM。

Em、C、G、Dというコード進行で、映画の予告編やゲーム映像のような雰囲気が出しやすいスタイルです。

手を下から上へ動かしてエネルギーを徐々に上げていくと、かなり「盛り上がっている感」を作れます。

Gesture Synthの使い方は4ステップ

実際に遊ぶ流れもシンプルです。

STEP 1：ブラウザからプレイヤーを開く

まずGesture Synthのプレイヤーを開きます。

専用アプリのインストールは必要ありません。

対応ブラウザとしては、現在のChrome、Edge、Safariなど、カメラアクセスとブラウザ上のメディア録画に対応した環境が推奨されています。

STEP 2：カメラアクセスを許可する

カメラモードを使う場合は、ブラウザからカメラアクセスを許可します。

ここで気になるのがプライバシー。

Gesture Synthでは、カメラ映像をサーバーへアップロードして解析するのではなく、手のトラッキングをブラウザ内で処理する設計になっています。

ライブカメラ映像はサーバーに保存されず、マイクへのアクセスも必要ありません。

Webカメラを使うサービスではこの部分が気になる人も多いので、ローカル処理という設計はかなり重要なポイントです。

STEP 3：手をカメラに向けて演奏する

カメラに手のひらを向け、まずは1本指を立てます。

コードが鳴ったら、次は2本、3本、4本。

慣れてきたら手を上下させてエネルギーを変えたり、握りこぶしで音を止めたりします。

最初は複雑なことをしなくても、

1 → 2 → 3 → 4 → 1

くらいの順番でジェスチャーを変えるだけで十分です。

STEP 4：15秒のミュージック動画として記録する

Gesture Synthは、その場で音を鳴らして終わりではありません。

演奏した内容を15秒の縦型9:16動画として録画できます。

動画には、

手のジェスチャー
音楽
アニメーションビジュアル

がまとめて含まれます。

完成した動画はプレビューして、対応環境では端末へ保存できます。

TikTok、Instagram Reels、YouTube Shortsのような縦型SNSコンテンツを意識した長さと比率になっているのが面白いところです。

カメラを使いたくないならキーボードモードもある

「面白そうだけど、Webカメラを許可するのはちょっと抵抗がある」

という人もいると思います。

Gesture Synthにはキーボードモードも用意されています。

数字キーでコードを切り替え、スペースキーで一時停止。

マウスやタッチ操作で音楽のエネルギーを調整できます。

つまりカメラがなくても、

同じ音楽エンジンとビジュアル表現を使って遊べる

ということです。

まずキーボードモードで音の仕組みを確認してから、面白かったらジェスチャー操作へ移る使い方でもいいでしょう。

手の認識がうまくいかないときの3つのコツ

カメラを使うジェスチャーツールなので、環境によっては指の本数をうまく認識してくれないことがあります。

そんなときは、以下を確認すると改善しやすくなります。

1. 逆光を避ける

背後に強い窓や照明があると、手がシルエットになってしまいます。

できれば顔や手の正面側から柔らかい光が当たる環境にします。

明るい部屋でも、背中側だけ極端に明るい状態は避けたほうがいいでしょう。

2. カメラを固定する

スマートフォンを片手で持ちながら、もう片方の手を認識させるより、端末を固定したほうが安定します。

PCならノートPC内蔵カメラの位置がちょうど使いやすいです。

スマートフォンならスタンドなどに置いて試すほうが演奏しやすくなります。

3. 手のひらをカメラへ向ける

手を斜めにしすぎると、どの指が立っているのかカメラから判断しづらくなります。

最初は手のひらを正面へ向け、指と指の間を少し開けて試します。

また、手と体が重ならないよう少し前へ出すと認識しやすくなります。

「AIで音楽生成」とは少し違う。でも、クリエイティブAI時代らしいツール

ここは少し重要です。

Gesture Synthは、テキストを入力すると完成した曲を自動生成してくれる「AI音楽生成サービス」とは性格が違います。

Sunoのように、

「こんな曲を作って」

と指示して1曲を自動生成するツールではありません。

むしろGesture Synthは、

人間がジェスチャーする → システムが手を認識する → あらかじめ設計された音楽ルールに沿ってリアルタイムに演奏する

というインタラクティブな楽器です。

だからこそ面白い。

生成AIが「全部作ってくれる」方向へ進んでいる一方で、Gesture Synthはコンピュータの力を使って人間の動きを新しい入力装置に変えているからです。

「AIに作品を作らせる」だけではなく、

「人間の行動とコンピュータを組み合わせて、新しい創作体験を作る」

というクリエイティブテクノロジーの方向性を感じられます。

Gesture Synthが向いている人

特に相性がよさそうなのは、次のような人です。

楽器経験はないけれど音楽で遊びたい
ブラウザで使える面白い音楽ツールを探している
Webカメラを使ったインタラクティブコンテンツが好き
SNS用に少し変わった縦型動画を作りたい
子どもと一緒に音やジェスチャーで遊びたい
デジタルアートやインタラクションデザインに興味がある
普通のDAWより直感的な音楽体験を試したい

逆に、本格的に作曲して、

MIDIデータを細かく編集したい
メロディを1音ずつ作りたい
複数トラックをミックスしたい
完成した楽曲をDAWで仕上げたい

という用途には、通常のDAWや音楽制作ソフトのほうが適しています。

Gesture Synthは本格的なDAWの代わりではなく、

「音楽を作ることへの入口を、ものすごく簡単にしたブラウザ楽器」

と考えるのが一番しっくりきます。

無料・登録不要なのも試しやすい

こういう実験的なWebサービスは、

「面白そうだけど、アカウントを作るほどではない」

と思って、そのまま閉じてしまうことがあります。

Gesture Synthは現在、アカウント登録なしでプレイできます。

ソフトのダウンロードも不要です。

Webサイトを開いて、カメラを許可し、手を見せれば演奏開始。

カメラを使いたくなければキーボードモードでも遊べます。

無料で演奏でき、15秒のパフォーマンス動画も作れるため、

「とりあえず1分だけ触ってみる」

という試し方がしやすいのは大きなメリットです。

まとめ：キーボードではなく「自分の手」が音楽インターフェースになる

これまでコンピュータで音楽を作るときは、

キーボード。

MIDIコントローラー。

マウス。

タッチスクリーン。

といった入力デバイスを使うのが普通でした。

Gesture Synthでは、その入力装置が自分の手になります。

1本、2本、3本、4本と指を変えるだけでコードが変わる。

手を上げれば音楽が盛り上がる。

握れば止まる。

そして、その動きと音を15秒の縦型動画として残せる。

操作自体はかなりシンプルなのに、

「自分が音を操作している」感覚がちゃんとある。

ここが、このツールの一番面白いところだと思います。

AIや自動生成ツールが増えた今だからこそ、全部をコンピュータに任せるのではなく、自分の動きがそのまま作品へ反映されるインタラクティブな体験は新鮮です。

楽器経験がなくても問題ありません。

ブラウザを開いて、カメラの前で指を1本立てる。

最初のコードは、そこから始まります。