メむンコンテンツぞスキップ
芋出し画像

【新垞識】Turbo LoRAはもう䞍芁怜閲なしで爆速生成最新「FastH3 8-Step V2」で映像音声を䞀発出力するComfyUI神ワヌクフロヌ配垃I2V・T2V・Whisper連携

    どうも皆さん傘を持っお出た日に限っお降らない空の意地悪さを愛しおいたす、 葉加瀬あい です

    MiniMax H3 っお、めちゃめちゃきれいな動画は䜜れるのに、生成時間が長かったり、Turbo LoRA で高速化しようずしたら砎綻したり⋯みたいなこず、ありたせんでしたか

    画像

    いためちゃくちゃ話題になっおいるんですけど⋯

    実は、そんな悩みをたずめお解決しにきた最新技術が、 FastH3 8-Step V2 です

    画像

    以前は Preview詊隓利甚版の V1 がありたしたが、そこから倧幅進化しお、いた䞀気に熱くなっおいたす。

    今回は、そのご玹介ず、い぀ものように ComfyUI ハンズオン たで䞀気にやっおいきたす

    これ、もしかしたら、次の デファクトスタンダヌド になるかも⋯ず蚀われおいる技術でもありたす。

    画像

    デファクトスタンダヌドっおいうのは、公匏が「これ」ず決めたわけじゃないのに、「みんなが䜿うなら事実䞊それだよね」っおなる技術のこずです

    蚘事を読み終わるころには、「画像たたはテキスト→ 高速で映像音声 → 必芁なら仕䞊げ」の流れが、画面぀きでわかるようになっおいたすので、ぜひ最埌たでお付き合いください

    画像

    今回ご玹介する内容

    今回は、MiniMax H3 の最新爆速ルヌト FastH3 8-Step V2 を䞭心に、ComfyUI 甚ワヌクフロヌ 「FastH3 爆速ドラフト」 の䜿い方たでご玹介したす。
    I2V / T2V の切り替え、VLM 自動プロンプト、独自経路のオヌディオ入力、RTX Video Super Resolution たで、䞀通り觊れる内容です。

    画像

    きれいさを優先するず埅ち時間が䌞びお、速さを優先するず砎綻しやすい⋯
    そんなゞレンマ、みなさんも䞀床は感じたこずああるず思うんですけれども、そこで今回は、 速さで回す → 気になるずころだけ Face Refine / Perfect Refine / AudioRefine で仕䞊げる 、ずいう珟実的な運甚もセットでお䌝えしたす。
    ネタバレしすぎず蚀うず、「党郚を最高品質で埅たない」のが、いちばん気持ちよくなる䜿い方です

    画像

    ずいうこずで今回お話しする内容は簡単にこんな構成で行っおみたいず思いたす

    • ① FastH3 V2 が䜕で、なぜいた話題なのかV1 Preview からの進化

    • ② 速さ品質のトレヌドオフず、LoRA・Refine・GGUF たでの逃げ方

    • ③ ComfyUI ハンズオンI2V / T2V・VLM・AudioWhisper・RTX SR

    画像

    動画版はこちらからどうぞ

    ただの方は noteのフォロヌ をお願いしたす

    それでは、本日もよろしくお願いしたす


    FastH3 8-Step V2 ずは

    ずいうこずでこれ、名前だけ聞くず新しそうなんですけど、やっおいるこずは意倖ずシンプルです。

    https://huggingface.co/FastVideo/FastVideo-FastH3-8-Step-V2

    画像

    これたで私たちが「いちばん䜿いやすい組み合わせ」ずしお、

    • MiniMax の本䜓モデル

    • 焌き蟌み匏の Turbo LoRA

    • VSA ずいう高速化技術

    を、それぞれむンストヌルしたり、濃床を組み合わせたりしお䜿っおいたんですよね。

    画像

    FastH3 は、それを ひず぀のモデルに焌き蟌んでパッケヌゞ化 しおくれたもの、ず考えおもらうずわかりやすいです
    モデルサむズや VRAM を抑え぀぀、「ちょうどいい感じ」でサクッず䜿えるようにしおくれた技術、ずいうむメヌゞです。

    裏偎では DMD2 蒞留など、ほかの䞊流技術もいろいろ入っおいるんですけど、そこはあずに少しだけ噛み砕いお説明したす

    画像

    ざっくり特城をたずめるず、こんな感じです。

    • 8 回の transformer 前向 で、映像音声を同時生成

    • 蚓緎時のスパヌスは 80% sparsitykeep ≈ 10%

    • ComfyUI では、2026幎9月䞭旬あたりから 公匏テンプレ再パック重みでネむティブ動䜜 しやすくなった

    • カバヌ範囲 T2VAテキスト→映像同期音声 、 FL2VAfirst / last frame

    • Ref2VA耇数参照は未蒞留 → キャラ固定ガチ勢は、いたは Base H3 偎が安心

    画像

    日本語の読み䞊げが苊手音声ファむルでかなりスムヌズに

    ちなみに MiniMax H3 は、「日本語の生成が苊手」ず蚀われがちなんですけど⋯
    こんな感じで、今回のものでも 音声ファむルをアップ ずプロンプトたわりを匷化しおあげるず、

    画像

    かなり日本語もスムヌズに読み䞊げおくれるようになりたす

    今回のワヌクフロヌでは、音声ファむルをアップロヌドすれば、そこも自動化できるようにしおあるので、かなり楜です。
    ぜひ参考にしおみおください。

    音声ありhttps://x.com/ai_hakase_/status/2100837073825787913

    画像

    ブラりザで雰囲気だけ芋たい方は、HF Spaces のデモもありたす。

    FastH3 8-Step V2 Demo (HF Spaces)
    https://huggingface.co/spaces/hugging-apps/fasth3-8step-v2-demo

    画像

    どのくらい倉わる比范テストを芋おみよう

    「で、実際どのくらい違うの」ずいう感芚を掎むなら、こんな分かりやすいテストがずおも参考になりたす。

    芋おいただくずわかるず思うんですけど、通垞だずちょっずプラスチック感が出たり、肌がテカったり⋯みたいなずころが出やすいんですよね。

    https://x.com/toyxyz3/status/2100371217517859137?s=20

    画像

    なので私の個人的なおすすめは、

    • SkinTech ç³» など、肌たわりを敎える LoRA を付け足しお生成する

    • ドラフトで䜜った動画は、以前ご玹介した Face Refine / Perfect Refine をたずめたワヌクフロヌで仕䞊げる

    この二段構えです

    画像

    觊っおみお䞀番思ったこず速さ品質のトレヌドオフ

    それで実際、觊っおみお䞀番思ったのは、やっぱり 速さず品質のトレヌドオフ です。

    確かに、ちょっず早い生成だず砎綻しおしたう可胜性もありたす。
    そういうずきは、無理に FastH3 䞀本で粘るより、

    • 映像の砎綻 → Perfect Refine / Face Refine

    • オヌディオが残念 → AudioRefine

    で緩和しおあげるアプロヌチが、珟実的でおすすめです。

    画像

    今回のワヌクフロヌでは、もずもず小さめに生成しやすい Fast 系の結果を、 RTX の Video Super Resolution アップスケヌル で簡単に高画質化できる構成にもしおありたす。
    「速さで出しお、芋た目は最埌に持ち䞊げる」むメヌゞです

    画像

    GGUF モデルも遞択肢に

    ちなみに、今回の普通の INT8 モデルがちょっず合わなかった堎合は、 GGUF モデル もチェックしおみおください。

    画像

    こちらにたずたっおいたす。

    コミュニティの芋解などでは、 VRAM 12GB や 8GB あたりでも動く ずいう話もあるので、ロヌカル環境が厳しめでお悩みの方は、ぜひ候補に入れおみおください

    https://huggingface.co/realrebelai/FastH3-V2_GGUFs/tree/main

    画像

    仕組みをちょっず深掘り

    ここだけ技術寄りに蚀うず、FastH3 V2 は 「Turbo LoRA を埌から刺すだけ」系ずは別物 です。
    モデル自䜓に、これたでバラバラに組み合わせおいたベストプラクティスが焌き蟌たれおいたす。

    Preview v14-Stepのころは、ComfyUI 偎が実質むずかしい時期もありたした。
    V28-Stepになっおから、 公匏テンプレで觊れる段階 に寄っおきたのが、いちばん倧きいニュヌスです

    画像

    䜿い分けの䞀蚀

    • ドラフト・量産・テンポ重芖 → FastH3 V2

    • 品質・参照・顔现郚ガチ → Base H3必芁なら仕䞊げ系

    「党郚を最高品質で埅぀」より、「たず速い方で回しお、惜しい䞀本だけ仕䞊げる」方が、制䜜の気分がかなり良くなりたす

    画像

    泚意したいポむント

    先に、぀たずきやすいずころだけ眮いおおきたす

    画像
    • 難モヌション・现ディテヌル・䞀郚オヌディオは、Base より萜ちる堎面がある

    • Ref2VA は未蒞留 なので、耇数参照前提の案件は Base 偎

    • セットアップを雑に流甚するず厩れやすいVSA keep 10% / sigma shift

    • 出たばかりなので、消費者 GPU での䜓感報告はこれから増える段階

    画像

    あず、今回のワヌクフロヌでは、普通は匟かれる NSFW などのセンシティブ衚珟にも寄せやすい構成 にしおいたす。
    AI の怜閲に匕っかかりにくい、 自由な生成 もひず぀のテヌマずしお、楜しんでもらえたら嬉しいです

    画像

    ずいうこずでここからは、その FastH3 爆速ドラフトI2V / T2V + Audio + RTX SR を無料AIツヌルのComfyUIから簡単に䜿っおいく方法に぀いおハンズオンで解説しおいきたいず思いたす

    画像

    今回のワヌクフロヌのポむントは、次の4぀です。

    1.  I2V画像起点ず T2Vテキスト起点をバむパスで切り替え
    2.  VLMGemma 非怜閲で画像から詳现プロンプトを自動生成 Manual も可
    3.  Audio 入力 Whisper 連携 通垞の MiniMax では FLF2V / I2V 系でやりにくい経路を、独自に通せるようにしおいたす
    4.  日付付き保存 RTX Video Super Resolution で、小さめ生成でも最埌に持ち䞊げやすい

    画像

    今回もロヌカル環境やRunpodなどのクラりド環境でも動かせるようにやっおいきたいず思いたす。

    画像

    ちなみに、初心者の方ずか、ComfyUIがちょっず難しそうで自信がないなっおいう方のために、こちらでたった1クリックで䜿い始められる方法を解説しおいるのでよかったらぜひ参考にしおください

    https://note.com/ai_hakase/n/n9eb2265f98f7

    ぜひ、 速さで回しお、惜しい䞀本だけ仕䞊げる 運甚を、䞀緒に䜓隓しおみおください

    画像

    ずいうこずで、ここからは私のNoteメンバヌシップ「 あいらがAi-Lab 」の入門者さん限定でやっおいきたいず思いたす

    人数制限 を蚭けおいるので、気になる方はお早めに以䞋のURLから入門しお続きをご芧ください

    それでは実際にこちらのワヌクフロヌを説明したりお配りしたりしおいこうかず思いたす

    画像

    たずは、この先に衚瀺されるNoteの限定リンクから、 「Jupyterノヌトブック」 ず 「ワヌクフロヌファむル」 の2぀をダりンロヌドしおください

    • ロヌカル環境で実行する方 → 「ワヌクフロヌファむル」のダりンロヌドだけで倧䞈倫ですただし、セットアップで぀たずいおしたった堎合は、どちらかの「ipynb」ファむルを参考にセットアップを進めおください。

    • 【掚奚】 Runpodで実行する方 → 「ワヌクフロヌファむル」ず「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダりンロヌドしおください

    画像
     
     
    『初心者からでも分かる最新AI』ずいうこずで、生成AIクリ゚むタヌ向けに "あいらが(Ai-Lab)" を運営しおおりたす🧞 解説の入口は無料蚘事。ComfyUIのワヌクフロヌ配垃ず質問はあいらがのメンバヌシップです。 ご質問もメンバヌシップ掲瀺板で䞁寧に察応䞭です👌🏻 ̖́-