この記事でわかること
- ローカルPCだけで、シナリオからMV向けの動画を自動生成する流れ
- 4分の動画に必要な作業時間(準備5分+待ち約3時間)
- 変な画像・動画だけをブラウザで確認して、差し替える方法
- 無料・商用利用可のモデルでの検証結果と、高性能モデルへの切り替え方
動画生成の仕組みが「ほぼ完成」しました
2026年10月末に、シナリオから動画を自動で作るシステムが動き始めました(2026秋 シナリオから動画を、手元のPC(LLM)だけで自動で作るシステムが稼働)。続く11月8日の【その2】では、シナリオの時間どおりに長さを合わせる仕組みと、生成時間の見積もり機能を作りました(【その2】シナリオから楽曲の4分39秒の長編動画を自動生成)。
その後も改良を重ね、MV動画づくりの一連の流れが、最初から最後までほぼ通しで動くようになりました。シナリオからの生成の自動化が一段落したので、開発の重心を「仕組み」から「ストーリー(コンテンツそのもの)」へ移していきます。
第8段(試作8回目)では、次の機能が加わりました。
- 効果音(SE)の調整:ある程度、狙いどおりに効くようになりました
- キャラクターの固定:登場人物の見た目を、カットをまたいで保つ機能です。ある程度効いています
- 個別修正:カットごとに、プロンプトや設定を直せます
- 楽曲の重ね合わせ:曲のタイミングに、かなり合う感触です
試作8回目の動画は、個別修正を使わない、AIだけが書いた初版です。
シナリオからMV動画ができるまでの流れ
全体の流れは次のとおりです。
- シナリオを用意する(楽曲に合わせた、場面ごとの文章)
- 外部のAI(GeminiやGrokなど)に、場面ごとのプロンプト一覧(JSON)を作らせる
- ブラウザの画面で一覧を確認し、生成を依頼する(人の作業はここまで・約5分)
- 生成用PCが、画像と動画を順番に自動で作る(約3時間)
- できた画像・動画をブラウザで確認し、必要なカットだけ直して差し替える
- カットを1本につなぐ
構成は、操作用PCと、GPUを積んだ生成用PCの2台です。それぞれの窓口をあわせて「アイシズ」と呼んでいます。画像はFLUX.2 klein 4B、動画はWan2.2 14Bを、ComfyUIで動かしています。人の手が必要なのは、依頼文を外部AIに貼る、返事を貼り戻す、生成を頼む、の3か所だけです。
【動画埋め込み②】元の楽曲「システムアラート」(4分39秒)。この曲の世界をシナリオにして映像化しています。
準備5分+待ち約3時間で、4分のMVができる
4分前後のMV向け動画の場合、Webブラウザ上での準備操作は5分ほど。生成を依頼してから素材がそろうまでは、約3時間です。
- 人の作業:約5分(依頼文を外部AIに貼る→返事を貼り戻す→生成を依頼する)
- 待ち時間:約3時間(画像と動画の自動生成。人は張り付かなくてよい)
- できるもの:4分程度のMV向けの動画
3時間は短くありませんが、人が画面の前にいる必要はありません。夜に依頼して、朝に確認する使い方ができます。【その2】では、3分15秒の一覧に対して「約7時間37分」の見込みが出ていました。そこから見ると、待ち時間は大きく縮んでいます。なお、約50カット(縦・標準解像度)の場合の目安です。
縮んだ要因のひとつは、同じモデルを続けて流す順序の工夫だと考えています。画像モデルと動画モデルを交互に流すと、毎回モデルの読み込みが入り、2秒の動画1本が約590〜610秒、画像1枚が約110秒かかっていました。同じモデルを続けて流すと、動画は約258秒、画像は約10秒に縮みます(前回の実測値)。
変な画像だけ直せる「部分差し替え」
画像生成AIには、どうしても当たり外れがあります。手が崩れている、顔が別人になっている、背景がおかしい。3時間かけて作った素材に1枚変なものが混ざるたびに、全体を作り直していては割に合いません。
そこで、ブラウザ上で画像や動画を確認し、必要な部分だけを修正して差し替えられるようにしました。実際に使ってみて、うまく動いています。
- ブラウザで、各カットの画像と動画を見て確認する
- 変なカットだけを選んで、修正する
- 修正したカットを、元のカットと差し替える
- 最後に、1本につなぎ直す
修正の方法は2通りあります。ひとつは、そのカットのプロンプトや設定を直して、作り直す方法。もうひとつは、できあがった画像を参照画像にして、気になる部分だけを直す方法です。どちらも使っています。
効くのは、時間の差です。前回の実測では、画像1枚の再生成は10秒〜約2分、2秒の動画1本は約4〜10分でした。数十カットある動画のうち数カットを直すだけなら、全体の3時間をやり直さずに済みます。
ローカルで動くから「作り放題」
使うモデルがすべてローカルPCで動くため、クラウドの動画生成サービスに多い「1本ごとの課金」や「月の生成回数の上限」を気にする必要がありません。かかるのは、PCの電気代と待ち時間だけです。
試行錯誤が欠かせない動画づくりでは、これが大きな差になります。1つのシナリオを何度でも作り直せますし、気に入らない場面は遠慮なく撮り直せます。夜間に回して朝に確認する使い方なら、待ち時間もあまり気になりません。
しかも、生成用PCのGPUはRTX 3080(VRAM 10GB)です。最新のハイエンドではない、手元にありそうな構成で動いています。自分のPCで試してみたい方の目安にしてください。
無料・商用利用可のモデルで検証、高性能モデルへの切り替えも簡単
現在の動作検証は、無料で、かつ商用利用も可能なモデルだけで行っています。
- 画像:FLUX.2 klein 4B(Apache 2.0ライセンス)
- 動画:Wan2.2 14B
- 文章の相談相手:Ollama上のgemma4:26b
画像モデルは、当初FLUX.2 devを検討しました。しかし非商用ライセンスだったため、発信用の制作には使えないと判断し、klein 4Bに切り替えました。「無料で動く」だけでなく「作品として公開できる」ことを条件にしています。
そのうえで、ワークフロー(ComfyUIでの処理の定義)を差し替えれば、より高性能なモデルも簡単に使えるようにしてあります。すでにMiniMax H3も登録しており、音つきの生成にも対応できます。
ただし、高性能なモデルを使うときは、ライセンスと表記条件の確認が欠かせません。たとえばMiniMax H3は商用利用が可能ですが、使う場合は動画の説明文への明記が必要です。ライセンスは更新されることがあるため、使う前に必ず配布元の一次情報で確認してください。
実際に作った動画
ここまでに作った動画を並べます。いずれもシナリオから自動生成した素材をもとにしています。
【動画埋め込み③】警告音が鳴り響くサイバーパンク都市へ(AI シナリオから自動生成)
【動画埋め込み④】ローカルPCだけでシナリオ→動画を自動生成してみた
【動画埋め込み⑤】発案から1日。AIだけでサイバーパンクアニメ作ってみた
【動画埋め込み⑥】AIだけでサイバーパンクアニメ作ってみた 音入りに挑戦 その6
【動画埋め込み⑦】試作8回目 警告音が鳴り響くサイバーパンク都市へ(AI自動生成)Claude版 Short
シナリオ作りのコツ:時間とカットを決めておく
仕組みが整うと、品質を左右するのはシナリオです。【その2】で分かった、うまくいくコツを3つ紹介します。
- 場面ごとの時間を書く:「0:00 – 0:17」のように、元のシナリオに時間を入れておきます。外部のAIに「この時間を必ず使う」と求めると、できた一覧が曲の長さに揃います。
- 1カットは5秒以内にする:Wan2.2は動画1本が5秒までです。長い場面は5秒以下のカットに分け、キー画像は1枚を使い回します。
- 秒数の合計を曲の長さと比べる:4分39秒の曲なら279秒です。一覧の動画の秒数の合計が合っているかを、生成の前に確かめます。
この3つを依頼文に入れただけで、28秒だった一覧が、シナリオどおりの3分15秒(41カット)になりました。
現状の課題も正直に
- 音:Wan2.2は音を作れません。曲を重ねるか、音つきで作れるモデルが必要です。効果音(SE)は、その6では期待しない音が入ってしまいましたが、試作8回目で調整しなおし、ある程度効くようになりました。まだ調整は続きます。
- キャラクターの固定:固定機能を追加して、ある程度効いています。完全ではないので、精度を上げていきます。
- 待ち時間:約3時間にはまだ縮める余地があります。静止画に動きを付けて、安く尺を埋める方法なども試したいと考えています。
ここからは「ストーリー」の番
仕組みがほぼ固まったので、次は中身、つまり物語・キャラクター・映像の演出です。同じ仕組みでも、シナリオ次第でまったく違う作品になります。これまでの試作は、楽曲「システムアラート」の世界(青白い管理都市に、赤いノイズが侵食していく)でした。今後は、シナリオ作りに時間をかけて、作品の幅を広げていきます。
ゆくゆくは、MVだけでなく、縦のショート動画や通知映像など、いろいろな形に対応させたいと考えています。
よくある質問
ローカルAIでMV動画を作るには、どんなPCが必要ですか?
開発では、GPUがRTX 3080(VRAM 10GB)の生成用PCと、操作用のPCの2台を使っています。生成には時間がかかるため、夜間に回す使い方が向いています。必要なスペックは、使うモデルや動画の大きさで変わります。
本当に無料で作れますか?
検証に使っているモデルは、無料で、かつ商用利用が可能なものです。ただし、PCと電気代はかかります。モデルのライセンスは更新されることがあるので、使う前に配布元で確認してください。
音も自動で入りますか?
現在使っている動画モデルのWan2.2は、音を作れません。曲を重ねるか、音つきで作れるモデル(MiniMax H3など)を使います。効果音つきの生成も、調整を重ねて、ある程度効くようになりました。
高性能なモデルに切り替えられますか?
できます。ワークフローを差し替えることで、別のモデルを使えるようにしてあります。ただし、モデルごとにライセンスや表記の条件が違うため、確認が必要です。
まとめ
- シナリオからMV向けの動画を自動生成する仕組みが、ほぼ完成した
- 4分程度の動画で、ブラウザでの準備は約5分、生成の待ちは約3時間
- 変な画像・動画は、必要なカットだけ確認して差し替えられる
- 検証は無料・商用利用可のモデルで行い、ワークフローの差し替えで高性能なモデルにも対応できる
- 開発の重心は、仕組みからストーリーへ移っていく
完成版(フル)は11月25日にhoscmから、ショート版は同日にMIC-NETチャンネルで公開する予定です。次回は、ストーリーづくりを中心に報告します。
