Skyreelsのimg2vidフローでポジティブプロンプトだけにする試み＠ComfyUI

Skyreelsは最近流行っていますね。
私の最近の記事ではView数がダントツになっています。
SkyReels-V1:HunyuanVideoの改良版+α：txt2vidとimg2vid版がある！｜shiba*2
ただ、私個人はまだ扱い切れていないのが現状です。
txt2vidと比較して、img2vidだとプロンプトの作成が異なるのかなという印象もあります。

以下、本家のチュートリアルのHPです。まだ研究中です。

SkyReels Tutorial - Lark Docs

さて、以前の記事で紹介したフローだとポジティブプロンプトとネガティブプロンプトを入れるため、生成時間が倍になってしまうという問題がありました。さらに、最近Kijaiさんが追加で公開されたフローだとサンプラーを2つ経過するという仕様なのでさらに時間がかかります。

Kijai/SkyReels-V1-Hunyuan_comfy · Hugging Face

ポジティブプロンプトとネガティブプロントがある上にサンプラーを2つ重ねている　⇒　HunyuanVideoオリジナル版のフローの4倍ぐらいかかる計算(ポジティブプロンプトとネガティブプロントの部分で2倍、サンプラーが2つで2倍)

そこでとりあえず単純化してみようということで、もともとのInstructPixToPixConditioningノードを修正して、オリジナルのHunyuanVideoのフローに近い形にしてみました。

設定についてはまだ迷走中ですが、ステップ数は20に戻したところ比較的安定しています。

カスタムノードのスクリプトは以下です。これをカスタムノードフォルダに配置するだけ。

以下のInstrucPixToPixConditioningSimpleノードが出てきます。※名前を少し変えています。

※このフローで使用しているunetモデルは、bf16のモデルを、ComfyUI上でfp8にコンバートしたものです。

＜試した感じ＞

以前のフローと異なり、サンプラーはDPM++2Mにしています。これはkijaiさんのフローと同じものです。

下はサムネに使用した画像で、それに合わせて、動画用のプロンプトを生成しています。

以下、だいたい同じ設定で作成したものです。

ちょっとリアルよりにしたものでも試してみました。

なんだか思ったより動いていませんが、プロンプトが一つで、サンプラーも一つなので、生成時間としては短くなっています。

＜雑感＞

パラメータをいじっていると、SD3サンプリングシフトの数値とFLUXガイダンススケールの数値の組み合わせによって結果がかなり変わることが分かりました。

色々と試してみると面白いと思います。

現段階での個人的な結論は、FLUXガイダンスは1.0が良いというところ。

SD3サンプリングシフトの数値は上のフローだと9ですが、若干不安定ですが、動きが出やすいかなという印象です。低めにすると動きが小さくなります。

カスタムノードのウェイトは1.0か1.1とかあたりかなと思います。生成画像が固定気味になる印象。