メインコンテンツへスキップ
見出し画像

【ComfyUI卒業】5000キャラをAI(Ollama)とTaggerで全自動生成する【NSFW対応】

〜「Character Select SAA」の真価を探る。プロンプト作成支援編〜

「あなたのイラスト作成は非効率になっていませんか?」

このツールはControlNet、ADetailer、プロンプトの微調整などの作業を効率化し、ComfyUIの複雑化するワークフローを不要にします。

この記事は次の記事の続編です。

まえおき

前編ではキャラクター生成にフォーカスした紹介をしましたが、このツールの本当の実力はキャラクター生成ではありません!

イラスト作成に関わる全てを1画面で設定し、画像生成を爆速化する「Character Select SAA」の活用術について、今回はプロンプト作成に関わる機能を徹底解説します。

これを読めば、あなたの環境はStableDiffusinやComfyUIとは異なる別物の快適さになります。

この記事は、Mac環境で画像生成AIを扱うための技術メモです。センシティブ寄りの表現に対応したモデルや設定について触れますが、露骨な作例画像は掲載していません。導入・設定・検証・トラブル回避を中心にまとめています。

https://note.com/major_myrtle6198

v2.1.0へのアップデート

新年の1/1にv2.1.0へのアップデートが公開されていました。アップデートに今回に関連する内容はないですが、それほど規模の大きい内容でもなさそうなので最初にアップデートの実施をオススメします。

不要であれば、スキップしてください。

アップデートは次のコマンドを順に実行することで実施しましょー

# ツールがある場所に移動します
cd character_select_stand_alone_app
# ファイルを更新
git fetch
git pull
# 削除しないと更新されない
rm data/danbooru_e621_merged.csv
rm data/wai_character_thumbs.json
# インストール
npm install
# 起動
npm start

もし、git pullで次のエラーがでたときはcheckoutで戻します!

$ git pull

Updating b993b8c..20787d4

error: Your local changes to the following files would be overwritten by merge:

package-lock.json

Please commit your changes or stash them before you merge.

Aborting

$ git checkout package-lock.json

設定の見直し

まず、settingsフォルダにある設定を変更します。
こちらは以前の記事で画像の生成を優先しすぎたために疎かになっていた設定です。

不要であればスキップしてください。

モデルのあるディレクトリを設定

前回はとりあえず試すことを優先したため、モデルの設定が不完全でした。 今回はこれを微調整します。

settings/settings.jsonを編集してmodel_path_webuiの値を下記に更新します。

"model_path_webui": "/Volumes/Develop/stable-diffusion-webui/models/Stable-diffusion",

この設定がないと、デフォルトの『waiIllustriousSDXL_v160』のモデルしか使われません。 これを設定すると次の画像のようにStableDiffusinに置いているモデルが使えるようになります。

画像
デフォルト以外のモデルが選べる

WAIシリーズ以外のモデルを使いたい場合

ちなみに、WAI氏が作成したモデル以外を使いたい場合は設定を変える必要があるんです。

以下の設定のmodel_filterをfalseにするか、model_filter_keywordの正規表現を変えてみてください。

"model_filter": true,
"model_filter_keyword": "waiIllustrious,waiNSFW,waiSHUFFLENOOB",

この設定はお好みで実施してください。

waiシリーズでないと上手く使えない機能もあるので、最初はwaiシリーズで試してみてほかのモデルも試す感じが良いと思います。

Ollama(オラマ)とは?

「AIを使ってプロンプトを自動生成する」と聞くと、ChatGPTのような有料サービスを想像するかもしれませんが、この記事が採用しているのは「Ollama(オラマ)」という全く別の仕組みです。

細かい説明は抜きにして進めたい人は、次の章を読んでください。

こちらの記事のライザの着物の画像もOllamaで作ったプロンプトを元に作成しています。

1. 「自分専用のAI」をPC内で動かす技術

一言で言うと、Ollamaは「ChatGPTに近いAIを、自分のパソコンの中で動かすためのソフト」です。

通常、AIとの対話にはインターネット経由で高い月額料金を払ったり、個人情報を送信したりする必要があります。しかし、Ollamaを使えば完全無料・完全オフラインで、AI(ローカルLLM)を動かすことが可能です。

2. なぜ画像生成に「Ollama」が必要なのか?

「Character Select SAA」にOllamaを連携させると、あなたのイラスト制作は以下のように変わります。

  • 「ふわっとした指示」を「そこそこの呪文」に変換: 「ライザがキッチンで料理してる」と日本語で入力するだけで、AIがDanbooruのタグを考慮した「1girl, reisalin stout, cooking, kitchen, whisk, bowl, apron...」といった、そこそこのプロンプトに書き換えてくれます。

  • プロンプトの「ネタ切れ」を防ぐ: 「いつも同じような構図になる」という時も、AIに少しヒントを与えるだけで、自分では思いつかないようなシチュエーションを提案してくれます。

  • 完全無料・無制限: 自分のPCのパワーを使うため、どれだけ大量にプロンプトを生成させても電気代しかかかりません。

  • NSFW対応も可能:選ぶモデルによってはNSFW(R18、アダルトなど)を含む指示も可能です。ChatGPTでは規制されてしまう内容もローカルLLMならば答えてくれます。

3. 導入は驚くほどカンタン

「ローカルLLMなんて設定が難しそう」と思うかもしれませんが、Ollamaは公式サイトからインストーラーをダウンロードして実行するだけ。あとは使いたいモデル(AIの脳にあたるデータ)を選べば、すぐに今回のツールと連携できます。

Ollamaを設定する

settings/settings.jsonのai_interfaceやremote_ai_base_url、remote_ai_modelを設定すると、常にLLMを使って、 AIのプロンプトが改善されるようになります。

この設定は最初の構想段階に使うと、一からプロンプトを考える手間を省いてくれるのでとてもイラスト作成のフローを効率化できます。ただし、微調整をしたい場合は邪魔になることもあるため、設定を切り替えて無効にできるようにします。

settings.jsonをコピーして、settings-ollama.jsonのようなファイルを作成して、その中のai_interfaceやremote_ai_base_url、remote_ai_modelの値を以下のように変えてください。

"remote_ai_base_url": "http://127.0.0.1:11434/v1/chat/completions",
"remote_ai_model": "huihui_ai/gpt-oss-abliterated",

"ai_interface": "Remote",

こうすることで、以下のように右上の設定が選べるようになります。

画像

この設定を選べるようにする機能は、今後紹介する予定のカスタムプロンプトを切り替える時やバックエンドをStable DiffusionからComfyUIに切り替える時などにも利用でき、上手く使うことでイラスト作成を効率化できます。

次からは実際にOllamaでプロンプト生成をしていきます。

Ollamaでプロンプトを生成する

この記事が参加している募集

 
 
こんにちは、ひよりあかねラボです。 このnoteでは、Macで規制解除を前提としたローカルAIでのイラスト制作過程や実験の記録などを書いていきます。特に記事内に記載が無ければ規制解除されたモデルやツールが前提です。 文章には補助的にAIを使用してます。

あなたへのおすすめ