自撮り動画の服、背景、天気だけをAIで差し替える方法

動きも表情もベストな1本が撮れたのに、服がイマイチだった。
背景に洗濯物が写ってた。そんな理由でボツにした自撮り動画、スマホに何本残っていますか？

Higgsfieldの動画ツール「Genjutsu」は、手元の動画を1本アップすると、動きやカメラワークはそのままに、服や背景の一部だけをAIで作り直してくれます。
自撮り縦型15秒で「衣装だけ」「背景だけ」「天気だけ」を差し替えるときの指示の出し方と、仕上がりでどこを確かめるかをまとめます。

撮り直さずに動画の一部だけ変えるって、どういうこと？

Genjutsuは、撮った動画を土台にして、指定したところだけを別物に置き換える動画生成ツールです。
テキストから動画をゼロで作るタイプとは逆で、動き、タイミング、カメラの揺れは自分の撮影素材のものがそのまま残ります。

Higgsfield Genjutsu — Reality Manipulation for Video

Reality manipulation for video. Swap characters, outfits, locations, and objects — or keep only the motion and rebuild the rest.

higgsfield.ai

モードは2つあります。

今回の3パターンは全部Object Swap側です。
自分は映したまま、服や背景だけを変えたいので。
入力の条件もおさえておきましょう。
公式ブログによると、元動画は4〜30秒、参照画像は1回の生成で最大30枚、出力は最大1080pです。

3秒のループ素材は短すぎて入らないので、15秒の自撮りはちょうど扱いやすい長さなんです。
プロンプトは必須ではなく、30種類以上あるプリセットを選ぶだけでも動きます。
細かく指定したいときだけ短い説明を足す、という使い方です。

自撮り15秒の服だけを変えるには、何を用意する？

用意するのは、元の自撮り動画と、着せたい服の参照写真です。
動画の中では体の向きが変わるので、正面の1枚だけだと横や斜めから見た形が伝わりません。
参照は最大30枚まで入れられるので、正面、斜め、生地の寄りの3枚くらいは用意しておきます。

指示はシンプルに「何を」「何に」変えるかだけ書きます。

Replace only the outfit with the dress in the reference images.
Keep the face, hair, hand movements, and background unchanged.

2行目の「変えないものリスト」がポイントです。
顔や髪まで作り直されると、せっかくの自然な表情が別人っぽくなってしまいます。
残したいものは、こうして言葉にして渡しておきます。

動きが崩れやすいのは袖と髪の境目

仕上がりで最初に見てほしいのは、服と服じゃないものの境目です。

• 袖口と手首。手を振る、髪をかき上げるなど腕が大きく動くシーン
• 髪が肩や胸元にかかっているところ
• スマホやカップなど、手に持っている小物

このあたりは元の服と新しい服の形が重なるので、1フレームだけ袖が消える、髪が服に溶けるといったズレが出ていないかをコマ送りで確認します。
元動画を撮る段階で、腕が体と重なりすぎない動きにしておくと、チェックする箇所そのものが減ります。

背景だけ差し替えると、光はどうなるのか

部屋で撮った自撮りをカフェやビーチに変えるパターンです。
Object Swapでは場所も差し替え対象なので、手ブレやズームの動きは元の動画から引き継がれます。

Replace only the background with a bright cafe interior with window light from the left.
Keep the person, outfit, and camera movement unchanged.

ここで見落としやすいのが光の向きです。
部屋の照明が左から当たっているのに、新しい背景の窓が右にあると、顔の影と背景がちぐはぐになります。
だから指示には、元の動画で光が来ている側を書き足しておきます。
仕上がりでは、顔の影の向きと窓の位置が合っているかを見てください。

もう1つの確認ポイントは、髪の毛先の輪郭と肩のまわりです。
背景との境目がぼやけていたり、元の部屋の色が縁に残っていたりしないか、拡大して見ておきます。

天気だけ変えるなら、どこを確かめる？

晴れの日に撮った外の動画を、雨や曇り空に変えるパターンです。
公式の機能一覧に「天気」とは書かれていませんが、Object Swapは変えたい内容を普通の文章で指示できます。
実際、Cachephotoのレビュー記事では、既存の映像に雨と曇り空を加えた例が紹介されています。

Change the weather to light rain with overcast sky.
Keep the person, outfit, and camera movement unchanged.

同じレビューでは「車の前だけ雨が降っているように見える」という崩れも報告されていました。
天気は画面全体に効いてほしい変化なので、確認ポイントは次の2つです。

• 雨粒や雲が、画面の奥や端まで広がっているか
• 地面や服が、雨の日らしく少し暗く濡れた感じになっているか

人物のまわりだけ雨が降っているように見えたら、プロンプトに「across the whole scene」と範囲を足して生成し直す手があります。

撮り直しとの手間比較、どっちが早い？

「そこまでするなら撮り直したほうが早くない？」って思いますよね。
作業を並べてみると、差が出るのは準備と待ち時間のところです。

いちばん大きいのは「同じ動きと表情をもう一度出す」が消えることです。
ノリで撮れたベストテイクって、2回目はなかなか再現できないんですよね。
生成時間は、先ほどのレビュー記事では1080pでの衣装チェンジが約10分だったと書かれています。

雨の日を待って撮りに行くことを考えれば、比べものにならない早さです。

15秒1本の料金はどのくらい？

Higgsfieldはクレジット制です。
公式ブログに載っている、15秒1本あたりの目安はこちら。

設定によって消費量は変わると明記されているので、あくまで目安として見てください。
消費クレジットは生成前の画面に表示されるので、そこで最終確認できます。
おすすめの回し方は、まず480pで1本出して、縦型のまま返ってくるか、境目が崩れていないかを見ること。

問題なければ1080pで本番を出します。
約300円で確認してから約1,080円の本番に進めば、失敗したときのダメージが小さく済みます。

Sora 2が止まる日に、自撮り動画の使い道を考える

OpenAIの廃止予定表にあるとおり、Sora 2のAPIは9月24日をもって止まります。

テキストからゼロで動画を作る道具が1つ減る一方で、自分で撮った素材を土台に作り替えるやり方なら、動きや表情はずっと自分のものです。
最初の1本は、ボツフォルダに入っている「動きは最高だったのに服か背景が惜しかった」動画から選んでみてください。

15秒を480pで1回、衣装だけの差し替えから始めれば、約300円で試せます。