InIns’s (アイシズ) 開発記 2026年10月25日〜30日の6日間のまとめ
文章のシナリオを渡すと、場面ごとの画像と動画を自動で作り、最後に1本につなぐ。そんなツールを、ローカルのLLMと画像・動画生成モデルだけで作っています。この記事では、6日間でできたこと、測った数字、つまずいた点、そして第一弾の動画から見えた課題を書きます。
第一弾の動画（縦・14場面・28秒）をここに入れます第一弾：MV『システムアラート』の試作。青と白の管理都市に、赤いノイズが侵食していく構成。生成の音はなし。
つくっているもの
役割の違う2台のPCを使います。重い生成は、RTX 3080（VRAM 10GB）の生成用PCが受け持ち、依頼や受け取り、結合は、GPUの弱い操作用PCから行います。操作用PCは、同じ部屋のLAN内でつながっているだけで、外には公開していません。
シナリオ→外部AI（依頼文を貼る）→プロンプト一覧（JSON）→常駐サーバー→ComfyUI→動画を受け取って結合
画像は FLUX.2 klein 4B、動画は Wan2.2 14B（ほかに MiniMax H3 も登録）、文章の相手には Ollama 上の gemma4:26b を使っています。シナリオから場面ごとの一覧を作る部分は、手元のLLMではなく、外部のAI（Grok や Gemini）にチャットで任せる設計にしました。
6日間の経過
| 日 | できたこと |
|---|---|
| 10/25〜27 | 方針と決めごとを文書化。ComfyUIのワークフローをAPI形式で4本書き出し、最小のプログラムで動画を1本生成（2秒・640×640・602秒）。 |
| 10/28 | LLMと生成モデルを同時に載せたときのメモリを実測。操作用PCから依頼して生成用PCで動画ができる「段階A」が完成。ライセンスを調べ、画像モデルをFLUX.2 devからklein 4Bへ変更。 |
| 10/29 | 文から画像、参照画像から画像、HD動画を追加。前の成果物を画像として再利用する書き方を整備。Chatと生成を1本にまとめたサーバー（inins）を作成。一覧を一括で頼む仕組みを追加。 |
| 10/30 | 外部AIが作った28行の一覧が1回で通り、全部生成。動画をつなぐコマンドと、操作用PCの管理画面（inins2）を追加。 |
測ってわかったこと
| 作業 | 時間 |
|---|---|
| Wan2.2 動画2秒（640×640） | 258秒（モデル読み込み済み）／約600秒（読み込みから） |
| Wan2.2 動画2秒（縦480×832／横1280×720） | 595秒／631秒。HDにしても時間はほぼ変わらず |
| klein 4B 蒸留版 アイキャッチ2枚（1600×896） | 49秒（初回）、10秒（2回目） |
| klein base 4B 同じ条件 | 225秒。蒸留版の方が圧倒的に速い |
| 参照画像から画像（昼を夕方に直す） | 41秒 |
| gemma4:26b の読み込み | 毎回約2分（GPU 39%／CPU 61%で動作） |
動画の生成中はRAMの空きが2〜4GBしかなく、LLMと同時に載せるのは現実的ではありません。そこで「GPUの仕事は1度に1つ」とし、動画を作る前にLLMを外す運用にしました。動画は1本約10分なので、14本なら単純計算で2時間強。長編では待ち時間の設計が重要になります。
つまずいたこと
- ライセンス。画像モデルFLUX.2 devは非商用ライセンスで、発信用の制作には使えないと判断し、Apache 2.0のklein 4Bへ切り替えました。9Bも非商用でした。MiniMax H3は商用可ですが、使う場合は動画の説明文に明記します（開発中に確認した範囲なので、公開前には一次情報を確かめます）。
- ワークフローの書き出しミス。画像から動画の入力がフレームの「最後」につながっていた、UNETに別モデルが入っていた、など。中身を読んで直しました。
- 手順書の細かな誤り。PowerShellにcmdの書き方を示した、別のPCで実行された、など。以後は、貼ればそのまま動く形で示す決まりにしました。
- 小さなLLMの限界。手元のgemmaにファイルを読み書きさせると、文字化けを正常な結果として受け取り、書き換わっていないのに「完了」と答えました。原因は、道具のエラーの返し方にありました。
第一弾の動画から見えた課題
元のシナリオは3分15秒の曲ですが、できた動画は28秒でした。時間の情報は一覧の形に入っておらず、依頼文の例が「2秒」だったため、外部AIがその値を全行に写したのが主因です。次の版では、作品全体の向き・大きさ・長さ・音の扱いを最初に決めて強制し、場面ごとの時間も一覧に持たせます。
音もありません。Wan2.2は音を作れないためで、音つきならMiniMax H3、または曲を重ねる指定が必要です。登場人物の固定も未対応で、同じ少女が毎回別の顔になります。キャラクターを登録し、一覧から参照する仕組みを作ります。
依頼文を作る、返事を貼って確かめる、誤りがあれば直しの依頼文を作る、という手順は、人の作業が片道2つ（貼る・ドロップ）で済むようにしてあります。
これから
- 全体の所要時間の見積もりを、確かめの段階で出す
- 手元の小さなLLMに、依頼の仕分けだけを任せる（15件の試験で最も良かったqwen3:4bが11件正解。決まりと似た例を足して精度を上げる）
- 作品の設定、場面の時間、キャラクターの固定、音の指定
- できた動画の自動チェックと、撮りためた実写からの場面抽出（将来）