【その2】シナリオから楽曲の4分39秒の長編動画を自動生成|ローカルAIで時間通りに作る方法、 アイシズ(統合インテリジェンスサーバー群)開発

シナリオ(3分15秒のMV)から時間通りのプロンプト一覧を作り、ローカルのLLM+Wan2.2/FLUXで長編動画を自動生成。生成時間の見積もり機能と、同じモデルを連続実行するだけで大幅に時間を短縮する方法を公開。アイシズ(aia studio)開発記その2。

概要

シナリオ(3 分 15 秒の MV)から、時間どおりの長さのプロンプトの一覧を外部の AI に作らせられるようになりました。前の回は 28 秒にしかならなかった一覧が、今回は 195 秒(41 カット)で通りました。→ 楽曲の長さが4:39だったのでアイシズで自動調整も強化

aia studio(アイシズ) は、ローカルの LLM と画像・動画の生成モデルで、シナリオから動画を作る自作のツールです。今回のスレッド(06・2026-10-31)では、次の 3 つを進めました。

  • 頼む前に「およそ何時間・何時ごろ終わるか」が分かるようにした
  • 外部の AI への依頼文を強めて、シナリオの時間を守らせた
  • 操作画面の使い勝手を直した

あわせて、生成の順番を変えるだけで時間を大きく縮められることにも気づきました(下の「気づき」)。

全体の構成

操作側の PC と、GPU のある生成用の PC の 2 台で動きます。それぞれの窓口である inins(アイス)と inins2 を、あわせて「アイシズ」と呼んでいます。

[embed: node/cb244d1f-8588]

人の手は、依頼文を AI に貼る・返事を貼り戻す・頼むの 3 か所だけです。画像と動画は生成用の PC で順に作られ、済むと操作側が自動で受け取ってつなぎます。

改善 1:かかる時間の見込み

一覧を確かめた時点で、生成にかかる時間と終わる時刻が出ます。長編では何時間もかかるので、夜に流すか・今流すかを頼む前に決められます。

実際の表示(MV の一覧・48 行):

問題ありません:48 行
動画の行 41 本・秒数の合計 195 秒(3:15)
かかる時間の見込み:この一覧 約 7 時間 37 分 → 今すぐ頼むと 明日 04:51 ごろに終わる見込み
  - 画像_flux2_klein_4B_文から画像_api:7 行・約 13 分
  - 動画_wan2.2_14B_画像から動画_api:41 行・約 7 時間 25 分
  • 見込みのもとは、生成用のマシンが記録している実績です。秒数・大きさ・枚数が同じジョブの、最近 5 件の平均を使います
  • 同じ実績がない行は、同じワークフローの実績か既定の値で数え、「ずれやすい」と表示します
  • 生成の途中も、行ごとに「実行 3 分・あと約 7 分」、一覧ごとに「全部終わる見込み 明日 03:10 ごろ(あと約 15 時間)」と出ます(数字は表示の例)
  • 計算は生成用のマシンの受付 1 か所で行い、コマンドと画面の両方で同じ数字を出します

改善 2:外部の AI への依頼を強めて、シナリオの時間を守らせた

依頼文に「元資料の時間を必ず使う」「1 カットは 5 秒まで」と書いただけで、できた一覧の長さがシナリオどおりの 3:15 になりました。

回依頼文外部の AI動画の行長さ
前の回(2026-10-30)「1 場面=数秒」・例が 2 秒Grok14 本28 秒
1 回目(2026-10-31)「1 場面=約 15 秒」だけGemini15 本75 秒
2 回目(2026-10-31)時間を守る・5 秒以下のカットに分けるGemini41 本195 秒(3:15)

1 回目で尺が足りなかった原因は 2 つです。

  • 動画モデル(Wan2.2)は 1 本 5 秒までです。「15 秒」と書いても、AI は 5 秒に抑えて場面の数だけ作りました
  • 依頼文で、シナリオに書いてある時間(「0:00 – 0:17」など)を守るように求めていませんでした

直したこと:

  • 依頼文のひな形で、次のことを求めるようにした:元資料の時間を必ず使う・場面の長さを動画の行の秒数の合計で埋める・長い場面は 5 秒以下のカットに分ける(キー画像は 1 枚を使い回す)・行のメモに時間とカットの番号を書く
  • 1 場面の秒数がモデルの上限を超えたら、依頼文を作るときに知らせる
  • 返事を確かめるときに「動画の行 N 本・秒数の合計 M 秒」を出し、シナリオの長さとすぐ比べられるようにした

外部の AI に任せるのは「決まった形の答え」(一覧の JSON)だけです。形や値の範囲はツールが確かめ、通らない行は「直し」の依頼文を自動で作ります。

改善 3:操作画面(inins2)の使い勝手

実際に使ってみて引っかかった所を、すべて直しました。どれも実機で確かめ済みです。

引っかかったこと直したあと
「元資料」の欄にシナリオの文を貼るとエラーになる場所でも URL でもない行があれば、文として使う。短い文とファイルの場所が混ざっていたら止めて知らせる
「クリップボードから貼る」で読めないことがある1 回読み直し、だめなら「欄を選んで Ctrl+V」と案内する
行の一覧を開いても、10 秒ごとの読み直しで閉じる開け閉めを一覧ごとに覚える
評価のメモを書いている途中でも、読み直しで文が消える書きかけを覚え、書いている間は作り直さない
行数や 1 場面の秒数などの制限が固定設定と画面の欄で変えられる

画面は、生成の状態を見るタブと、外部の AI とやり取りするタブに分かれています。外部の AI とは「依頼文をコピーして貼る → 返事を貼って確かめる → 頼む」の 3 手でやり取りできます。

気づき:画像と動画を交互に流すと、毎回モデルを読み直していた

同じモデルを続けて使えば、動画 1 本は約 600 秒から 258 秒、画像 1 枚は約 110 秒から 10 秒に縮みます。前の回の 28 行の一覧は「画像→動画→画像→動画…」と交互に流れ、全部の行でモデルを読み直していました。

流し方動画 1 本(Wan2.2・2 秒)画像 1 枚(FLUX.2 klein 4B)
交互に流す(2026-10-30 の 28 行)590〜613 秒108〜113 秒
同じモデルが続く258 秒10 秒
  • 各行の記録では、使い回せたノード(キャッシュ)がどの行も 0 でした。メモリ(32 GB)に 2 つのモデルが収まらず、入れ替えるたびに読み直していると推定しています
  • 同じワークフローを続けて流せば、28 行は約 2 時間 37 分から約 1 時間 10 分になる見込みです(実機ではこれから確かめます)
  • 人が手で作るときは、もうこの順に並べていました。その工夫をツールの受付(生成の順番を決める所)に入れます

これから

次の目標は、この MV のシナリオから音入りの 3:15 の動画を自動で作ることです。次の順で進めます。

  1. 生成の順番:同じモデルを続けて流し、全体の時間を縮める。見込みも、秒数の違う実績を秒数の比で伸ばして近づける
  2. 作品の設定と時間つきの一覧:全体の長さ・向き(縦・横・ドット数)・音・表現方法などを最初に決める。一覧の行に開始と終わりの時間を持たせ、すき間や重なりをツールが確かめる
  3. 目次と部:行が多い作品は、目次を先に作らせて部に分けて頼む
  4. 時間でつなぐ・曲を重ねる:カットを時間の位置に置き、曲に合わせる

その先には、キャラクタの固定、静止画に動きを付けて安く尺を埋める方法、できた動画の品質を自動で調べる仕組みが控えています。いまは MV の形に合わせていますが、ゆくゆくは縦のショートや通知映像など、いろいろな形に対応させます。


関連記事