はじめに
これまでコード生成を中心に試してきましたが、今回は一歩進んで、ComfyUIを使った動画生成を試してみることにしました。
今回使用したのはWindows版の ComfyUI Desktop。
動画生成用のテンプレートを確認すると、MiniMax H3、LTX-2.5、LTX-2.3、Wan 2.2、Hunyuan Videoなど、非常に多くのワークフローが用意されています。
あまりにも数が多いため、今回はその中からまず、
MiniMax H3：テキストから動画へ
を試してみることにしました。
そして、MiniMax H3でいくつか動画を生成した後、次の比較対象として Wan 2.2 5B に進むことにしました。
1. ComfyUIには動画生成用テンプレートが大量にある
ComfyUI Desktopの動画生成テンプレートを確認すると、かなりの数のワークフローが用意されています。
今回確認しただけでも、
- MiniMax H3
- LTX-2.5
- LTX-2.3
- Wan 2.2 14B
- Wan 2.2 5B
- Wan Animate
- Hunyuan Video 1.5
- SCAIL-2
- InfiniteTalk
- Wan VACE
- Kandinsky 5.0 Video
- LTXV
など、さまざまな動画生成モデルが並んでいました。
画面には
157件中64件のテンプレートを表示中
と表示されており、動画生成だけでもかなりの選択肢があります。
最初から全部を試すのは現実的ではないので、今回はMiniMax H3から始めます。
2. MiniMax H3のテキスト→動画を試す
選択したのは、
MiniMax H3：テキストから動画へ
というワークフローです。
最初はノードグラフが複雑に見えました。
しかし、よく見ると動画生成に必要なモデルやエンコーダ、解像度設定などがすでに接続された状態になっています。
さらに、動画生成の中心となるノードには、かなり長い英文プロンプトが最初から入力されていました。
この英文をクリックしてみると、普通の入力欄として編集できます。
そこで、まず非常にシンプルなプロンプトに変更しました。
Three young women walking slowly through a quiet city street in the early morning, cinematicこれだけでも、実際に動画を生成することができました。
3. RTX 3080 10GBで実際に動画生成
今回使用しているGPUは、
NVIDIA GeForce RTX 3080 10GB
です。
動画生成中には、
- GPU使用率：100%
- VRAM使用量：約9.6GB / 10GB
- GPU温度：約87℃
- 消費電力：約265W
という状態になりました。
かなりGPUを使っています。
しかし、生成中のGPU使用状況を見る限り、きちんとGPUを使って動画生成できていることが確認できました。
その後、生成が終了するとGPU使用率は大きく低下し、温度も40℃程度まで下がりました。
したがって、今回の環境では、
RTX 3080 10GBでMiniMax H3の動画生成を実行できる
というところまでは確認できました。
4. 5秒の動画生成には約10分
最初のテストでは、5秒程度の動画を生成しました。
生成時間は、
約10分
でした。
次に20秒程度の動画も試してみました。
こちらは、
約50分
ほどかかりました。
単純計算では、
| 動画長 | 生成時間 |
|---|---|
| 約5秒 | 約10分 |
| 約20秒 | 約50分 |
という結果です。
もちろんプロンプトや設定、生成条件によって変わるため、この数字をそのまま一般化することはできません。
しかし、少なくとも今回のRTX 3080環境では、
「数秒の動画なら試せるが、20秒になるとかなり待つ」
という感覚でした。
5. プロンプトはかなり効く
次に、もう少し具体的な指示を入れてみました。
例えば、
A young woman walking slowly through a quiet city street at sunset, cinematicというプロンプトです。
これを生成すると、
- 女性が登場する
- 街を歩く
- 夕方の雰囲気になる
- シネマティックな映像になる
など、プロンプトの内容がかなり反映されました。
つまり、単純なテキスト→動画生成については、かなり素直に指示が効いている印象です。
6. もう少し複雑な指示を入れてみる
次に、複数の人物とカメラワークまで指定してみました。
使用したプロンプトは、概ね次のような内容です。
早朝の東京の街をさっそうと歩く5人の若い女性が、
正面から歩いてきて、とおりすぎる。
同時にカメラがパンして女性を追い、
その後ろ姿を追う。結果は非常に興味深いものでした。
うまくいったところ
- 女性たちが歩く
- 東京らしい街の雰囲気が出る
- 複数人が登場する
- 正面から歩いてくる
- カメラワークをある程度意識した映像になる
など、プロンプトの意図はかなり反映されました。
一方で、細かい部分では問題もありました。
7. 「東京の街」が「郊外の住宅地」になった
指定では「東京の街」としていました。
ところが生成された映像は、東京の繁華街というより、
郊外の住宅地に近い街並み
になりました。
これは画像・動画生成AIではよくある問題です。
「東京」という単語を入れただけで、必ずしも
- 高層ビル
- 繁華街
- 日本の看板
- 大量の人
- 車
- 駅前
といった具体的な東京のイメージになるわけではありません。
そこで、次のテストでは「東京」をさらに具体化しました。
8. 「5人」と指定しても5人とは限らない
もう一つ面白かったのが人物の人数です。
プロンプトでは、
5人の若い女性
と明確に指定していました。
ところが、最初の生成では、
4人
になりました。
動画生成AIでは、複数人物の人数を正確に維持することが難しい場合があります。
そこで次のテストでは、
Exactly five young adult womenと、人数をさらに強く指定しました。
すると、今度は、
5人が登場しました。
これはかなり重要な結果でした。
「5人」と書くよりも、
Exactly five
と明示した方が、今回のテストでは人数を維持しやすくなりました。
9. 東京の繁華街を具体的に指定する
次のプロンプトでは、東京の街をより具体的にしました。
Exactly five young adult women walking confidently toward the camera on a busy downtown Tokyo street in the early morning. Dense urban Tokyo scenery, tall buildings, Japanese storefronts, crosswalks and city traffic. All five women are clearly visible. Smooth cinematic camera movement, realistic live-action, natural walking motion.今度は、
「東京の繁華街」
という指定はかなりうまく反映されました。
また、
5人
という人数指定も成功しました。
ここから、
「抽象的な指定より、具体的な視覚情報を並べた方がよい」
という傾向が見えてきました。
10. ところが、5人が車道を歩いてしまった
一方で、別の問題が発生しました。
「東京の繁華街を5人の女性が歩く」
という指示は反映されたのですが、
なんと女性たちが、
自動車道の真ん中を歩いていました。
これはかなり「AI動画らしい」結果です。
人間なら、
東京の繁華街を女性5人が歩く
と聞けば、普通は歩道を想像します。
しかしAIにとっては、
「街を歩く」＝必ず歩道
ではありません。
そこで次のテストでは、
They stay on the sidewalk and never walk on the road.のように、歩く場所を明示する必要があると判断しました。
11. 一番難しかったのはカメラワーク
今回もっとも苦戦したのが、
カメラの動き
です。
例えば、
カメラが後退しながら女性たちを追う
という指示を入れても、期待したほどカメラが動きませんでした。
さらに、
女性たちを追いながらパンする
という指示に対しては、
カメラが連続して動くのではなく、別のカットに切り替わったような映像
になることもありました。
また、
女性たちを通り過ぎた後、後ろ姿を追う
という指定については、
後ろ姿のシーン自体が生成されませんでした。
これは今回の実験でかなり重要なポイントでした。
12. MiniMax H3で分かったこと
ここまでの実験を整理すると、MiniMax H3では、
比較的うまくいった
- 人物を歩かせる
- 複数人物を登場させる
- 「5人」という人数をある程度指定する
- 東京の繁華街を具体的に指定する
- 朝・夕方などの時間帯を指定する
- 映画的な雰囲気を指定する
- 自然な歩行をさせる
難しかった
- 正確な人数を常に維持する
- 「東京」の具体的な場所を想定通りにする
- 歩道などの細かな位置関係
- カメラを指定通りに動かす
- パンや追従撮影
- 一つの連続したカメラワーク
- 前から後ろ姿へ自然につなぐ
という傾向が見えてきました。
13. 次はWan 2.2 5Bへ
ここまで試したところで、次のモデルとして、
Wan 2.2 5B
を試すことにしました。
ComfyUIには、
Wan 2.2 5Bビデオ生成
というテンプレートが用意されています。
これを選択すると、MiniMax H3とは異なるノード構成のワークフローが自動的に展開されました。
こちらにも、
- Positive Prompt
- Negative Prompt
の2つの入力欄があります。
今回は、MiniMax H3で問題になった部分を意識して、より具体的なプロンプトを設定しました。
Positive Prompt
Exactly five young adult women walking confidently together on the sidewalk of a busy downtown Tokyo street in the early morning. Dense urban Tokyo scenery with tall buildings, Japanese storefronts, traffic lights, crosswalks and city traffic in the background. All five women are clearly visible and walking side by side toward the camera. They stay on the sidewalk and never walk on the road. Realistic live-action, natural human walking motion, cinematic composition. The camera slowly moves backward in front of the five women, keeping them clearly framed throughout the shot. Continuous single shot, no cuts.Negative Prompt
fewer than five people, more than five women, duplicate people, extra limbs, deformed hands, distorted faces, malformed bodies, people merging together, people disappearing, walking on the road, empty suburban street, rural scenery, low-rise residential neighborhood, static camera, camera cut, scene transition, sudden viewpoint change, unnatural walking, frozen people, jittery motion, blurry faces, cartoon, anime, illustration, CGIMiniMax H3で発生した問題を、できるだけNegative Promptにも反映させています。
14. まずは5秒動画で比較する
Wan 2.2 5Bのワークフローでは、
長さ：121
FPS：24
となっています。
計算すると、
121 ÷ 24 = 5.04秒
です。
したがって、今回は実質的に約5秒の動画としてテストすることにしました。
いきなり20秒動画を生成すると、今回の環境ではかなりの時間がかかる可能性があります。
まず5秒で、
- 5人になるか
- 東京の繁華街になるか
- 歩道を歩くか
- 正面から歩いてくるか
- 自然に歩くか
- カメラが後退するか
- ワンカットになるか
を確認します。
まとめ
今回、初めて本格的にComfyUIで動画生成を試してみました。
第一印象としては、
「思った以上にプロンプトが効く。しかし、細かな演出指定になると急に難しくなる」
というものでした。
「女性が歩く」
という程度なら比較的簡単です。
しかし、
5人の女性が
東京の繁華街の歩道を
正面から歩いてきて、
カメラが後退しながら追い、
そのまま通り過ぎ、
後ろ姿を追い続ける
となると、一気に難易度が上がります。
特に、
「何を映すか」
と
「カメラをどう動かすか」
は別の問題として考えた方がよさそうです。
今回のMiniMax H3の実験では、人物や背景についてはかなり指示できましたが、カメラワークについては思い通りにならない部分がありました。
そこで次回は、Wan 2.2 5Bがこの部分をどこまで改善できるのかを試してみます。
同じような内容を生成して比較すれば、
MiniMax H3とWan 2.2 5Bでは、どちらが「人物」「背景」「人数」「カメラワーク」を得意としているのか
も見えてくるはずです。
ComfyUIでのローカル動画生成は、まだ始めたばかりです。
次回はWan 2.2 5Bの5秒動画から、実際の生成結果の詳細を検証してみたいと思います。
