Google Colab で はじめる Waifu Diffusion v1.3

「Waifu Diffusion v1.3」を試してみました。変更点は、diffusersのバージョンと、公式が提示しているパイプラインのデフォルト設定になります。

1. Waifu Diffusion v1.3

「Waifu Diffusion v1.3」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIの最新版です。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

(2) パッケージのインストール。
diffusersのバージョンが0.4.1になりました。

# パッケージのインストール
!pip install --upgrade diffusers==0.4.1 transformers scipy

(3) StableDiffusionパイプラインの準備。
モデル名に"hakurei/waifu-diffusion"を指定します。

import torch
from diffusers import StableDiffusionPipeline

# StableDiffusionパイプラインの準備
pipe = StableDiffusionPipeline.from_pretrained(
    "hakurei/waifu-diffusion",
    torch_dtype=torch.float32,
).to('cuda')

(4) テキストから画像の生成。
今回は、猫耳メイド(cute cat ear maid)で画像生成してみました。

# テキストからの画像生成
prompt = "cute cat ear maid"
with autocast("cuda"):
    images = pipe(prompt, guidance_scale=7.5).images  
images[0].save("output.png")

(5) 生成した画像の確認。
左端のフォルダアイコンでファイル一覧を表示し、output.pngをダブルクリックします。