HunyuanVideoのi2vモデルのバク改善とかComfyUIの対応について

Hunyuan Videoi2vモデル使用されていますか？
生成画像の顔がイマイチという話が巷であったあとtencentの公式がバグ修正の投稿がありました。
Loraの調整をしたが顔がイマイチだったなーと思っていたらこれが原因の一つだった様です。
公式の方はアップデートしたやつ使ってねーとか最近もツイートしていました。

重要な点は、

モデル自体も修正され、修正前と修正後の2つになり、それに合わせてスクリプトも修正された

という事です。

これらは、ComfyUIの活動ログを見ると分かりやすいかもしれません。

ComfyUIでは、最初のバグ修正の通知を受けてまずはスクリプトの修正をしています。

前後の画像を提示出来ないのですが、たまたｍこの修正の後に生成を行った印象では、この時点で以前より顔の問題は改善はしていました。

その後、追加で修正版のi2vモデルの対応がされています。

hunyuan_video_I2V_720_fixed_fp8_e4m3fn.safetensors · Kijai/HunyuanVideo_comfy at main

Kijaiさんのアップロードされたファイル内の「fixed」モデルがそのモデルに相当します。

この時にカスタムノードに追加項目が出てきくる様になりました。
これの内容は後述します。

その後、さらにスクリプトが変更されて、元々のワークフローだとエラーが出てしまう事が起きています。おそらく、現時点2025/3/10では、既存のフローを使用している方はエラーを経験していると思います。

このエラーは、本体のエラーかと思いきや、WaveSpeed側の問題で起きている様で、WaveSoeedをバイパスにして無効にすると問題なく動きます。
layerのダブルブロックの処理のスクリプトが変更されているのですが、その関連でsingleblocksの処理がうまく行かなくなった感じの様でした。

Hunyuan broke after the recent ComfyUI patch · Issue #115 · chengzeyi/Comfy-WaveSpeed

Issueが上がっていますが、2/8以降はアップデートが無いので、改善を期待したいところです。。。。。

＜修正前モデルと修正後モデルの扱い＞

今回の修正について、公式のブログで解説があります。
また、HunyuanVideoのワークフローもアップデートされています。

Kijaiさんのページにfixedモデルがありますが、元々のモデルを「v1」とし、修正されたfixedモデルを「v2」としています。

特徴としては「v1」は画像から少し変わるも、動きがダイナミック、「v2」は元画像により近いが動きが小さめとのこと。
以下が公式がだしているフローです。

Kijaiさんのフローと異なり、フラックスガイダンスが追加されています。

＜追加１＞image interleaveという項目

image interleave：clipvision outputから得られた「画像埋め込みトークン」をどの頻度や比率でテキストトークンと混ぜ合わせるかの指示として利用されるものの様。
公式の設定だと、ｖ１は「2」、ｖ2は「4」
ｖ１で試した感じだと、数値が大きいと画像は固定されやすい傾向になりました。動きを求める場合は１でも良い気がします。

＜追加2＞guidance typeという項目

ｖ１とｖ２がありますが、設定によって入力された画像の処理方法が変わります。それぞれのモデルの推奨が項目にあるという感じです。
もともと作成された際の処理はｖ１に相当するもので、追加されたのがｖ２になります。

デフォルトの設定で作成した画像(同じシード値)

ということで、ｖ２の方が元画像からの動きが出やすいことが分かります。

ここから、それぞれの中で最適な設定を探り出す感じになるかと思います。

＜Loraの効き具合＞
ｖ１とｖ２では同じ設定にしても効果が異なる可能性があります。
動きがダイナミックな点からはｖ１が良いのかもしれません。。

ちなみにwebp形式で保存された画像はnoteだと動画として動作しません。
問題なのは、webp形式で保存したファイルをffmpegでmp4に直接変換はワークフローとかのメタデータが追加されているためか難しくなっています。

ImageMagikのコマンドで、webpファイルをgifに直接変換することが可能です。以下のものをインストールしてからコマンドを実行すると変換されます。
ImageMagick – Download
https://github.com/ImageMagick/ImageMagick

以下はinput.webpをoutput.gifに変換するコマンド

magick input.webp -coalesce output.gif

個人的には、ワークフローでmp4にして、そこからgif変換にしていることが多いです。