メインコンテンツへスキップ
見出し画像

【無料 × Framepack × LoRA】 いま、eichi が大流行り!…ですが、わたしは〇〇な理由で FramePack Studio 激推しでした…。

    どうも皆さん!食後に鏡で歯をチェックする時のあの絶妙な角度、日々研究中です、 葉加瀬あい(ハカセアイ) です!

    まず、今回の記事の内容を動画でみたい方は、こちらからどうぞ!(随時更新中です!)

    https://note.com/ai_hakase/m/m093618cdf798

    画像

    今回ご紹介する内容

    今回は、FramePackのLoRAやF1モデルなどの実行を、もっと簡単にしてくれて、自動化までしてくれる夢のような技術「 FramePack Studio 」について、詳しくご紹介していきます!

    画像

    FramePack Studioで動画制作がもっと手軽に!

    以前、FramePackについては、こちらの記事でも基本的な使い方などをご紹介させていただきました!

    https://note.com/ai_hakase/n/n5c6e07e26b7e

    画像

    FramePackって、こんな感じのシンプルな画面で、
    直感的に動画を生成できるのが魅力でしたよね!  

    画像

    でもでも、1回の動画生成が終わるまで次の動画生成に取りかかれなかったり…ちょっぴり不便なところもあったりしませんでしたか⋯?

    画像

    今回ご紹介する「 FramePack Studio 」は、そんな悩みを吹き飛ばしてくれる、まさに救世主のような技術なんです!

    画像

    今回のポイント3つ

    ということで今回お話しする内容はこんな感じです!

    • ① もう動画生成に付きっきりになる必要なし!FramePack Studioの「キューシステム」で実現する、魔法のような「放置生成」の秘密とは?

    • ② 初心者さんでも大丈夫!ドラッグ&ドロップでOK、Stable Diffusion風の親しみやすいUIで、誰でも簡単に高品質な動画を量産する方法を伝授!

    • ③ 環境構築はワンクリック!?Google Colabですぐに始められるFramePack Studioの導入方法と、さらに便利なAi-Lab限定の活用術も大公開!

    画像

    YouTube動画の方はこちらになりますので、ぜひ見てみてください!

    それでは、本日もよろしくお願いします!

    FramePack Studioって一体どんなもの?進化のポイントをチェック!

    「FramePack Studioって、結局何がすごいの?」って思いますよね!
    簡単に言ってしまうと、これは FramePackの超進化版 だと考えてみてください!

    主な役割としては、 簡単な動画生成の実行 と、その 生成作業の自動化 を強力にサポートしてくれるんです!  

    画像

    実際の動作をチラッとお見せすると、こんな感じなんです!
    画像を入れて生成ボタンをポチッ!また次の画像を入れてポチッ!

    …これを繰り返すだけで、数十分後には、たーくさんの動画が自動で出来上がっている…なんてことも夢じゃないんです!  

    画像

    実はComfyUIでも自動化は可能だった…?

    実は、このあたりの自動化方法については、以前こちらの記事でも詳しく解説させていただいたんですよね!

    https://note.com/ai_hakase/n/n67806c0655fe

    画像

    それが、FramePack Studioの登場によって、もっともっと!あの Stable Diffusion WebUI みたいな、 おなじみの画面で簡単に操作できるようになった ってイメージなんです!

    画像

    ちょっと寄り道!話題の「F1モデル」って何が違うの?

    そういえば、さっきから「F1モデル」っていう言葉がチラチラ出てきてますけど、これっていったい何なんでしょうか?

    まず、普通のFramePackは、動画の 一番最後のシーン(ラストフレーム)を最初に作ってから、そこから最初のシーン(スタートフレーム)に向かって予測しながら逆再生するように動画を生成 していくんです。

    それに対して、この F1モデル は、 最初のシーンから最後のシーンへと、順番に段階を踏んで動画を生成していく んです!
    アプローチが全然違うんですね!

    生成される動画のクオリティも、ちょっと傾向が違っていて、 普通のFramePackの方がよりキレイな映像 になることが多いみたいです。F1モデルは、それに比べると少し品質が落ち着く場合があるようですね⋯。

    画像

    もし、「F1モデル、ちょっと試してみたいな⋯」って思われた方は、こちらの Hugging Faceスペース で公開されていますので、ぜひぜひお試しください!

    https://huggingface.co/spaces/linoyts/FramePack-F1

    画像

    ちなみに、FramePack Studioの操作画面はこんな感じになっているんです!
    見てください!とってもシンプルで、 めちゃくちゃ使いやすそう ですよね!  

    画像

    超簡単!ドラッグ&ドロップで即実行!

    例えば、キャラクターにダンスをさせる動画って、作るのがとーっても面倒だったりしますよね⋯。

    でも、この FramePack Studio があれば、「このキャラクターに、こんな感じでダンスを踊らせてください!」っていう簡単な指示と、使いたい LoRAファイルを適用させるだけ で、こんなに簡単に、ダンス動画が作れちゃうんです!  

    画像

    そして、そのやり方がまた、 びっくりするほど簡単 なんです!

    まず、使いたい画像を画面のここにドラッグ&ドロップします。
    そして、 「Add to queue」というボタンをポチッとクリックするだけ !たったこれだけなんです!

    画像

    面倒なアスペクト比調整も、かしこくお任せ!

    さらに嬉しいのが、FramePack Studioは、取り込んだ画像の大きさに合わせて、 動画に最適なアスペクト比(縦横比)に自動で調整 しながら動画を生成してくれるんです!

    画像

    まるでアニメーター!?キーフレーム指定で動きも自由自在!

    そしてそして!私が特に「これはスゴイ!」って思ったのが、この機能!
    なんと、「動画の1秒目では手を振る動きをして、3秒目からはダンスを始めてほしい!」みたいな、 細かな動きの指示(キーフレーム指定) までできちゃうんです!

    画像

    究極の時短術!「キューシステム」で放置生成が可能に!

    そして、極めつけにご紹介したいのが、こちらの「 キューシステム 」です!

    これは、動画生成の「実行ボタン」を押した時に、例えば「1番目にこの動画を生成してね!」「それが終わったら、2番目にこの動画をお願い!」「次は3番目のこれね!」…といった感じで、 FramePack Studioが賢く作業の順番を記憶してくれる システムのことなんです!  

    画像

    これ、どういう風に便利かと言いますと⋯。

    生成した後は、あとはFramePack Studioにお任せして、お仕事や学校に行っている間に、あるいは家事をしている間に、 気が付いたら、1時間後にはたーくさんの動画が自動で生成されている …!なんてことが実現できちゃうわけなんですね!

    画像

    そして、なんと、こちらでは LoRAも設定できちゃう んです!
    例えば、モデルがくるくる回ったり、ダンスをしたりするような動きをLoRAとしてダウンロードして適用することで、プロンプトの記述がぐっと楽になるんです!
    このLoRAの適用方法やダウンロード方法については、また別の機会に詳しく解説していきますので、楽しみにしていてください!

    画像

    その他にも、こちらの「ジョブID」というものを使用してあげると、 前に生成した情報をそのまま引き継いで、同じ設定で動画生成ができる といった便利な機能などもあるんですけれど⋯!こちらもご紹介すると、またまた長ーくなってしまいそうなので、今回は割愛させていただきます!

    これも今後の記事で、「おすすめ設定」のコーナーなどで軽く触れていきたいと思います!

    画像

    日本語対応!FramePack eichi のご紹介!

    さて、ここまでFramePack Studioの素晴らしい機能についてたくさんご紹介してきましたが、実はこのFramePackシリーズには、Studioが登場する以前から開発されていた、もう一つの注目ツールがあるんです。それが、 「FramePack eichi」 なんです!

    https://github.com/git-ai-code/FramePack-eichi?tab=readme-ov-file

    画像

    こちらは、なんと 日本の方が開発されたツール でして、見てください!このようにユーザーインターフェースが 日本語に対応している のが、私たち日本人ユーザーにとってはとっても嬉しいポイントですよね!

    画像

    ツールの名前も「叡智」から取って「eichi」と名付けられているんですが⋯もしかしたら、わざとなのか偶然なのかは分かりませんが、ちょっぴりNSFW(職場閲覧注意)を思わせるようなネーミングが、逆に注目を集める頭のいいマーケティング戦略なのかもしれません!

    画像

    初心者さんには少しハードルが高い⋯?

    こちらのFramePack eichiも、とーっても強力なツールなんですけれど⋯。
    ちょっと、こんな感じで初心者の方にとっては、 コマンドラインを直接操作する必要がある ので、少しハードルが高いかなぁ⋯と思って、これまでご紹介するのをためらっていた部分もあるんです。

    画像

    でも! キーフレーム補間などをブラウザから直接実行したい! という方にとっては、とってもおすすめのツールなんです!

    ただし、少しだけコマンドラインの知識があった方が、よりスムーズに使いこなせるかもしれません!

    画像

    コマンド操作が苦手な方へのおすすめ!

    「プログラミングの知識は全くないよ⋯」「コマンド操作はちょっと⋯」という方には、以前こちらの記事でもご紹介したんですけれど⋯。

    https://note.com/ai_hakase/n/n5c6e07e26b7e

    画像

    ComfyUIの拡張機能である 「ComfyUI-FramePackWrapper」 などを使ってみるのも、ひとつの手だと思います!

    https://github.com/nirvash/ComfyUI-FramePackWrapper  

    画像

    やっぱりおすすめ!FramePack Studio がイチオシな理由!

    それで、ここまでご紹介してきたComfyUI-FramePackWrapperやFramePack eichiのように、FramePackは今とっても注目されていて、本当にたくさんの拡張機能やサポート技術が登場しているんです!

    その中でも、私が特におすすめしたいのが、今回の主役である FramePack Studio なんです!

    画像

    なんといっても簡単な環境構築!

    その理由はなんといっても、 環境構築がとーっても楽ちん なこと!
    PaperSpaceなどのノートブック環境で、こちらの 実行ボタンをポチッとワンクリックするだけで準備OK という手軽さが、最大の魅力なんです!

    画像

    ワンクリックで夢のUIが目の前に!

    そして、環境構築が終わったら、あとはこちらの URLをクリックするだけ でいいんです!

    画像

    たったそれだけで、こちらのような Stable Diffusion風の、とっても分かりやすいユーザーインターフェースが立ち上がります!
    これなら、PC操作にまだ慣れていない初心者の方でも、直感的に操作できちゃいそうですよね!

    画像

    このあと、具体的なそのノートブックの配布や具体的な使い方など、一緒に見ていければと思います!  

    画像

    もっと詳しく知りたい方は「あいらぼ(Ai-Lab)」へ!

    ということで、ここからは、私のNoteメンバーシップ「あいらぼ(Ai-Lab)」にご参加の皆さん向けに、さらに詳しい解説をお届けしちゃいます!

    「あいらぼ(Ai-Lab)」ってどんなところ?

    「あいらぼ(Ai-Lab)」には、なんと現在 400人を超えるAIクリエイターさん が参加してくださっているんです!
    最新のAIトレンド情報はもちろんのこと、公式LINEと連携して、AIに関するお悩み相談や解決なども行っている、とっても心強いコミュニティなんです!

    画像

    ただ、 人数制限 を設けているので、もしご興味をお持ちいただけたら、ぜひお早めにこちらのリンクからご参加いただいて、この続きもチェックしてみてください!

    「あいらぼ(Ai-Lab)」メンバーの皆さん、お待たせしました!

    ということで、「あいらぼ(Ai-Lab)」にご参加の皆さん、お待たせいたしました!
    早速、FramePack Studioの詳しい使い方について、一緒に見ていきましょう!

    画像

    まずは技術要件をチェック!

    まずは、今回必要となる技術要件から確認していきましょうね!

    今回、必要なPCの容量は、こんな感じになっています!