Lightweight IP-Adapter on Flux1

2025年10月16日、SVDQ-FP4版を追加しました。

Flux1で動作するIP-Adapter…に関しては、相当前に一度解説しておりましたが…例の互換性完無視系Xlabs製に関して。

余りに重すぎて当時は実用に耐えず、その後、似たような機能を持つFlux1-Reduxとかの登場もあって、Flux1でIP-Adapterという選択肢は事実上放棄していた訳ですが…。

いつの間にか、軽量な動作が可能なIP-Adapterが開発されていました。

開発元は、ControlNet Unionと同じくInstantXですね。

ノードも、開発されていました。Union絡みでは、InstantXと共同開発をしていたShakkerからです。

このノード、デフォルト状態では、何処にモデルファイルを設置すべきかよくわからない状態になっていますが、modelsフォルダに「ipadapter-flux」フォルダを作成し、そこにモデルファイルをダウンロードします。

そのControlNet-Union-Pro-Maxと組み合わせる形で、Multi形式でノードを組んでみました。

Apply First Cacheは例によってWaveSpeed用は使用できず、互換ノードを使用しています。torch.compileの最適化も適用済です。

SCDQ-FP4版です。

以下記事で公開しているオリジナルノードが必要です。

…

特筆すべきは、動作の軽さです。

上のXlabs版では、devではプログラムの完走自体が無理でしたが、これは何とControlNetがシングルならば、それにIP-Adapterを2つ重ねた状態でさえ、下図のように専用VRAM使用量が12GBを下回ります。

Dual Clipに対してMultiGPUノードをかまして、Distorchを使用すれば…という前提ですが。

Flux1-Reduxでも似たようなことはできますが、

やはりIP-Adapterの方はSD1.5以来使い慣れている..という利点があります。

…

今日のBGMは、我らが「ONE OK ROCK」の最新アルバム「DETOX」からこの曲 !

アルバムも勿論、入手済みです。