Colabで動かすStableDiffusion実装
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。
海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。
使い方
GitHubページの「Open in Colab」ボタンをおして、colabで開く。
このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認
HuggingFaceでアカウントを作成
StableDiffusionのモデルページで、「利用規約」に合意する。
モデルファイル sd-v1-4.ckpt をダウンロード
モデルファイルを Google Drive等にアップロード
下のセル 「1-1. Google Driveとの接続」を実行
下のセル 「1-2. のフォーム」に、Google Driveにアップしたモデルのパスをセット。（画面左のフォルダから、アップしたファイルを探して右クリックでパスを取得してコピペ）。
このページ上部のメニューで、「ランタイム > 全てのセルを実行」を選択
一番したのほうにGUIが出現する。（近くのURLで別窓でも開ける）。
2回目以降は、9番から実行すればOK
特徴
GUI
タイル（ループ）モード
MidJournery的なプロンプトへの重みづけ。
プロンプトAとプロンプトBのブレンド生成
公式のStableDiffusionと比べて、以下みたいなことができます。
こういうのも作れる。ちょっとコード追加するとアニメーションもいけます（コードを整理中）。
子供から大人までの変化を、まるっとAIで生成。
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 6, 2022
キャラの設定画渡したら、表情や年齢のバリエーション出すツールとかいけそう。寝てる間にレンダリングするので、漬物つくってるっぽさある。コードを整理中。#stablediffusion pic.twitter.com/vBjpy5OR27
「街の発展と崩壊」
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 5, 2022
自前のColabでも、プロンプト同士のアニメーション作れた。1時間〜2時間で生成できる感じ。潜在空間同士を連結すると綺麗にアニメるな。#StableDiffusion pic.twitter.com/m70ajR6qsC
StableDiffusion、そのまま使っても十分楽しいですが、潜在空間のコンセプトを理解して直接いじくれるようになると、かなり応用がきいてよいです。
プロンプトのコツについて
