【備忘録】VAEに関してのあれこれ【FANBOX復刻】

こちらは個人的な備忘録です。

まず、sp8999さんの記事をご紹介させてください。

　Stablediffusionで画像を生成する際にはモデルというものが必要である、というのはわかりやすいのですが、VAEというものも重要なものです。

　AnythingV3なんかを初めて使ったときは、画面全体の彩度が落ちてしまって、

「なんかi2iする度に色褪せてくんだけどー！？😭」

って焦ったものです。

　これはモデルを変更したのにVAEを設定していなかった為に起こりました。

　モデルによってはVAEを同封することでいちいち設定を必要としないものもありますので、そういったモデルの場合は気にしなくて良いでしょう。

　詳しい説明は是非sp8999さんの記事をお読みください。

　私は ふいんき（なぜか変換できない）でwebUIを使っているので、なんとなくボヤっとしたイメージでしか理解できていません。

　一応自分なりに検証したものを出しておきます。

主なVAEの紹介

anything-v4.0.vae.pt

vae-ft-mse-840000-ema-pruned.safetensors

autoencoder_fix_kl-f8-trinart_characters.ckpt

kl-f8-anime.ckpt , kl-f8-anime2.ckpt

　私のような雰囲気でＡＩイラストを作っているタイプの者からすると、こういった解説記事は本当にありがたいものですね。🐣✨

個人的お勧めVAE

　　現在私は sp8999さんがこちらのツイートで公開してくださったこの２つをメインに使わせて頂いています。

mse840000_klf8anime.vae.pt

mse840000_klf8anime_klf8anime2.vae.pt

その他 お勧めの VAE

Starrylie[AH]VAE

clearvae_main.safetensors

ClearVAE_V1.1.safetensors

ClearVAE_V2.3.safetensors

VAE を SD WebUI に追加する方法

ダウンロードしたVAEモデルを

stable-diffusion-webui\models\VAE

に入れれば追加されます。

新しいVAEをデフォイルトに設定する方法

settingタブ → Stable Diffusion項 → SD VAE 欄で選択

また、

Ignore selected VAE for stable diffusion checkpoints that have their own .vae.pt next to them Inpainting conditioning mask strength

にチェックを入れると、モデルにVAEが同封されていた場合に、同封VAEを優先して使ってくれるようになります。

VAEを気軽に選択できるようにしたい

　とーふのかけらさんが clipskip と一緒に VAE選択項目も追加する方法をツイートしてくれていました。

settingタブ → User interface項 → Quicksetting list 欄に

sd_model_checkpoint,sd_vae,CLIP_stop_at_last_layers

と打ち込んで保存。

　すると、WebUI 画面の最上部に VAE選択欄が追加されます。

VAEを自分で調整したい

　また、以下のようなVAEの調整ができるものが出ているようです。

　まだこちらは私も試せていないので、使用した際はまた記事にしてみようと思います。