【FramePackを超効率化🔥】ハカセ式・ほったらかしAI動画生成術✨ComfyUIで動画生成を完全自動化！面倒なプロンプト作成やバッチ処理の手間を解消する方法💖

どうも皆さん！久しぶりに着たコートのポケットから、忘れていた千円札が出てきた時の喜び、あれはささやかなボーナスですよね、 葉加瀬あい（ハカセアイ） です！

今回ご紹介する内容

今回は、前回ご紹介して大反響だった高速動画生成AI「FramePack」を、　　

ComfyUIを使って"もっと楽に"、"もっとたくさん"動画を作るための、超効率的な自動化テクニックについて徹底解説します！　　

記事の内容を動画でみたい方は、こちらからどうぞ！

 https://note.com/ai_hakase/n/nf1f550662638

FramePackの動画生成スピードは本当に驚きですが、実際に使ってみると「イメージ通りの動画にするためのプロンプト調整が意外と難しい…」「複数の動画を一気に作りたいのに、1つずつしか生成できないから待ち時間が長い…」と感じている方もいるのではないでしょうか？

ご安心ください！ComfyUIと、今回特別にご紹介するカスタムノードを組み合わせることで、これらの課題を一掃できます。

画像を準備するだけで、あとはAIがよしなにプロンプトを生成し、フォルダ内の画像を次々と自動で動画にしてくれる、まさに"夢のような環境"が構築できるんです！

今回のポイント3つ

ということで、今回の注目ポイントはこちらの3つです！

• ① 面倒なプロンプト考案や、非効率な単体生成…FramePackの"ちょっと惜しい点"をComfyUIで完全に自動化する方法！

• ② 画像フォルダを指定するだけ！AIによるプロンプト自動生成＆完全自動バッチ処理を実現する、神カスタムノードの導入と使い方！

• ③ モデルファイルのダウンロードも自動！複雑なセットアップ作業を劇的に簡略化する、魔法のワークフローを特別に配布＆解説！

ちなみに、Youtube では、Note記事を動画にして公開しています！私のNoteメンバーシップ あいらぼ（Ai-Lab）だけで配信している 限定パートも、公開後、先着数名さまに限定公開しておりますので チャンネル登録 にしておくと見逃しませんよ！

https://www.youtube.com/@AI-Hakase

それと、X (旧Twitter) でも、 AI・トレンドの速報 を発信しておりますので、最新技術やお得情報を見逃したくない方は、こちらのフォローもお願いします！

https://x.com/ai_hakase_

それでは、本日もよろしくお願いします！

FramePackのおさらいと使ってみた感想！

ということでまずはおさらいです！

前回の記事では、 FramePack の使用方法について解説しましたね！

https://note.com/ai_hakase/n/n5c6e07e26b7e

YouTube動画版もこちらにありますので、動画で確認したい方はぜひチェックしてみてください！

一応、簡単におさらいしておきますと、FramePackは新しい動画生成アルゴリズムで、すごいハイクオリティな動画が、 凄まじいスピードで作成できる という、とっても魅力的なツールでした！　　

使ってみて感じたこと⋯ ちょっと気になる点も？

その時、実際に使ってみて感じたことがいくつかあるんです！

まず感じたのは、プロンプト、つまりAIへの指示ですね！これは、 結構具体的に 記述した方が、より自分のイメージに近い動画が生成されやすい気がしました！

ただ、毎回そういう詳細な設定をするのって、ちょっと面倒だったりしますよね⋯。

それと、公式で提供されているデフォルトのUIバージョンを使ってみて、 一つの動画生成が終わるまで、次のプロンプトを入力して生成を開始できない というところが気になりました⋯。これだと、ちょっと待ち時間が発生してしまいますよね。

今回のゴール：ComfyUIでFramePackをもっと便利に！

ということで、今回は先ほど挙げたような課題を 全部解決 していきたいと思います！
プロンプトも、 画像を1枚ポンっと指定したら、AIが自動でいい感じのプロンプトを作ってくれる 、そんな夢のような感じにして⋯！

さらに、動画生成についても、生成したい情報をいくつかストックしておいて、一度にまとめて処理してくれるような雰囲気で実行できるように、環境を整えていきたいと考えています！

ダウンロード作業も自動化しちゃいます！

それと、ダウンロードとかについてもですね！ いろいろなモデルをURLから一つ一つダウンロードする作業って、結構手間がかかって大変ですよね⋯。

そこら辺も、私の方で 自動化 する仕組みを用意しちゃいました！

せっかくこんなに高性能な動画生成AIなんですから、皆さんも面倒な作業は自動化して、もっと楽に、もっと楽しく使っちゃいましょう！　　

ComfyUIでFramePackを使ってみよう！

はい！ということで今回は、こんな感じで ComfyUI という、とっても便利なツールを利用して、このFramePackをもっと快適に使っていきたいと思います！

ComfyUIって何？初めての方はまずこちら！

「ComfyUIって初めて聞いた⋯！」という方や、「基本的な使い方がよくわからない⋯」という方もいらっしゃるかもしれません！
大丈夫です！ComfyUIの基礎的なことについては、 こちらで記事とYouTube動画で分かりやすく解説している ので、ぜひ見てみてください！

それと、今回の内容を進める上で、もしComfyUIについてもっと詳しく知りたい！とか、ちょっと難しくて分からない部分がある⋯！という方は、私の こちらのマガジン などで、さらに詳しく解説をしています！

https://note.com/ai_hakase/m/ma5812eb86d3b

こんな感じで、 ComfyUIについて記事とYouTube動画でサクッと学べるコンテンツ も用意していますので、ご自身のペースに合わせて学習を進めていただけます！

https://note.com/ai_hakase/n/n5486e3a98997?magazine_key=ma5812eb86d3b&from=membership-magazine

さて！それでは、ここからが本題です！まずは基本的なところから解説していきます！
この FramePackをComfyUIから利用する方法 についてですが、この記事を作成している時点では、基本的には 2種類 のカスタムノードが存在しているんです！どちらを使うか選べるのは嬉しいですよね！

1.　 Kijai氏作「ComfyUI-FramePackWrapper」（最速リリース版）
2.　 ComfyUI FramePackWrapper (nirvash fork版)

選択肢①：Kijai氏作「ComfyUI-FramePackWrapper」（最速リリース版）

こちらは、あの有名なlllyasvielさんが開発したことで知られる、とっても強力なフレームワーク「FramePack」を、私たちの愛用するComfyUI上で簡単に扱えるようにしてくれる、素晴らしいカスタムノードなんです！

まず、開発者のKijaiさんが、より高速に動作するように 独自の工夫 を凝らしてくださっているそうです！

さらに、 Vid2Vid機能の搭載 も大きな特徴の一つです！READMEファイルを確認すると、「rudimentary vid2vid」、つまり初期段階ではありますが、動画から動画への変換機能に関する記述もあるんです！（ただし、開発者の方によると、これについてはまだ試していない段階とのことですので、今後のアップデートに期待ですね⋯！）

ただ、一方で、導入にあたって少し注意点もあります。それは、 環境構築のやり方 などが、もしかしたら初心者の方にとっては、ちょっととっつきにくい⋯！と感じてしまう部分があるかもしれない、ということです。

https://github.com/kijai/ComfyUI-FramePackWrapper

実際にこのカスタムノードを使うためには、次に説明するモデルファイルの準備が必要になります。

https://huggingface.co/Comfy-Org/HunyuanVideo_repackaged/tree/main/split_files

日本人開発者による注目フォーク版！ComfyUI FramePackWrapper (nirvash fork版)

そして、2つ目に注目したいのが、 日本人開発者のnirvashさん という方が現在開発を進めている「ComfyUI-FramePackWrapper」の fork版 なんです！

参考: https://github.com/nirvash/ComfyUI-FramePackWrapper

nirvashさん開発のフォーク版とは？

このfork版は、もともとKijai氏が開発したものをベースに、さらに便利な機能を追加しているバージョンなんです！

Kijai氏のバージョンを参照しているとのことなので、先ほどご紹介した モデルファイルのインストール方法などは基本的に同じ です！

このnirvashさん版のすごいところは、動画を作る際に 「キーフレーム」と「最終フレーム」を指定できる機能が追加 されている点なんです！

具体的にどんなことができるかというと⋯

キーフレーム指定

これは、動画の途中で「 このタイミングでは、この画像（キーフレーム）の要素を参考にしてね！ 」と、AIに指示を出せる機能なんです！　　

Start/End Frame指定

つまり、Start/End Frame指定もできます！
これは、動画の始まりは「この画像」で、そして「 最後はこの画像（最終フレーム）みたいな雰囲気で終わらせてね！ 」という感じで、スタートとゴールのイメージをAIに伝えられる機能です！　　

この機能、どこかで聞いたことがあるような⋯？と思った方もいるかもしれません！
そうなんです、 これは、以前ご紹介したWan2.1 FLF2Vの機能と、ちょっと似ている感じ なんです！　　

詳しくはこちらの記事も見てみてください！

https://note.com/ai_hakase/n/n1f1efc684192

使う前にチェック！注意点もあります⋯！

ただ、この便利なキーフレーム指定機能について、開発者のnirvashさんご自身から、 いくつか注意点 がポストされています⋯！

https://x.com/nirvash/status/1913449753649795225

ポストによると、キーフレームは指定した区間（セクション）で 参照 はされるものの、その キーフレームの画像が、そのまま動画内にハッキリと表示されるとは限らない 、とのことなんです⋯！
あくまで「参考にする」というニュアンスが強いのかもしれません！この点は覚えておきましょう！　　

最新情報！公式版でもキーフレーム指定が可能に！

ちなみに、このnirvash fork版で追加されたキーフレーム指定機能について、さらに嬉しいニュースがあるんです！

なんと、 実はもう、公式のフレームパックの方でも、こちらのプルリクエストで対応済み で、同じようにキーフレーム指定ができるようになっているんです！　　

どんどん便利になっていきます！

ですので、安定版がリリースされた際には、私のこちらの記事やYouTube動画の PaperSpace用ノートブック も、最新情報に合わせて修正・更新する予定ですので、ぜひチェックしてください！

Kiji-aiさん作！便利なカスタムノードをご紹介！

さて、今回はComfyUIをさらに便利にする、こちらの Kiji-aiさんが開発されたカスタムノード を使って、画像から動画を生成する方法を詳しく見ていきましょう！

https://github.com/kijai/ComfyUI-FramePackWrapper

こちらがカスタムノードの全体像です！

なんだかワクワクしますね⋯！

主な特徴について

いくつか特徴をご紹介します！

特徴①：AIが自動でプロンプト生成！

まず、先ほど少し触れましたが、画像を元にして、 AIが自動で動画生成用のプロンプトまで考えてくれる んです！
これって、本当に画期的ですよね！プロンプト作成に悩む時間がぐっと減ります！

特徴②：フォルダ指定だけで楽々バッチ処理！

さらに、こんな感じで バッチ処理 にも対応しているんです！
使い方はとっても簡単！フォルダを指定するだけで、そのフォルダ内にある画像を 順番に、自動で動画に変換 してくれるんです！

もちろん、おなじみの 自動リサイズ機能にも対応済み なので、画像のサイズを一つ一つ調整する手間もありません！

本当に、これを使うと驚くほど簡単に、 画像から動画がワンクリックで自動生成 されていくんです！

フォルダを選択したら、あとは ほったらかしでOK ！

例えば、寝ている間や他の作業をしている間にも、どんどん動画が作られていくなんて、夢みたいじゃないですか？すごく楽ちんです！

セットアップも簡単！ハンズオン形式で解説！

ということで、早速使い方を見ていきましょう！
今回は、初心者の方でも分かりやすいように、ハンズオン形式で進めていきます！

ステップ1：PaperSpace用ノートブック（必要な方のみ）

まず、 VRAM 16GB以上の高性能なPCをお持ちでない方向け に、PaperSpace上で簡単に実行できるノートブックをご用意しています。

もし、ご自身のPC（ローカル環境）で作業される方は、このステップはスキップして大丈夫です！

ステップ2：FramePackのインストールとComfyUI起動

次に、ノートブックなどを実行して、FramePackを自動でインストールします。
インストールが終わったら、表示される ComfyUIのURLをクリック して起動しましょう！

ステップ3：自動動画生成用のFramePackワークフローの読み込み

ComfyUIが開いたら、次はこの作業です！
私がお配りする、 自動動画生成用のFramePackワークフロー ファイルを読み込ませてください。
ドラッグ＆ドロップなどで簡単に読み込めます！

ステップ4：必要なモデルの自動ダウンロード

動画生成には、いくつか必要なモデルファイルがあるんですが、心配ご無用です！
こちらの セットアップ用のワークフロー を使えば、必要なモデルを 全部、自動でダウンロード してくれます！
これもクリックするだけなので、とっても簡単です！

ステップ5：生成ボタンをクリックして自動化スタート！

さあ、準備は整いました！
あとは、こちらの 生成ボタンをクリックするだけ です！

これで、指定したフォルダ内の全ての画像から、 動画生成やプロンプト作成などが全自動 で行われます！すごいでしょ？！

さて、これで基本的な動画生成の自動化はバッチリですね！

ここからは、さらに詳しい解説や応用テクニックについてお話ししていきたいのですが、この続きは私のNoteメンバーシップ「あいらぼ（Ai-Lab）」にご参加いただいている皆さん限定でお届けしています！

「あいらぼ（Ai-Lab）」には、現在なんと 400人を超えるAIクリエイターさん が参加されているんです！
最新のトレンドAI情報の共有はもちろん、公式LINEと連携して、AIに関するお悩み相談や解決サポートなども行っています。

メンバーシップは 人数制限 を設けさせていただいております⋯！

もしご興味をお持ちいただけましたら、ぜひお早めにこちらのリンクから詳細をご確認の上、ご参加ください！お待ちしています！

さて、 ここまでの手順はご自身のPC（ローカル環境）でComfyUIを動かすことを前提としていましたが、「PCのスペックが心配…」「もっと手軽に試したい！」という方もいらっしゃるかと思います。
そこで今回は、 クラウド環境の Paperspace でComfyUIを動かす方法についてもご紹介します！

まずは、 Paperspace で使えるノートブックをダウンロードするところからスタートです！

もし、先ほど説明したようにご自身のPC（ローカル環境）でComfyUIを使う方は、このダウンロード部分はスキップしていただいて大丈夫です！

ノートブックのダウンロードはこちらからどうぞ！↓