日ごろからGitHub Sponsorsでのご支援、ありがとうございます。開発をスムーズに進めるために投資をしていきたいのですが、最近はすべてのパーツが値上がりしているような状態で、いつ、どこに投資するか、なかなか難しいものがあります。そんな中、ふとしたことから、これは開発用の投資としては悪くないのではないかと思いつき、表題の通りPCを組み立てました。この記事は、その報告と情報共有のための記事になります。

はじめに

素晴らしいTTSを公開してくださったAratako氏に感謝します。

はじめに

はじめに

「Gemini 2.5 Pro Experimentalに長編小説を分析してもらう」の記事のURLを渡して、NotebookLMの音声概要機能でまとめたものです

はじめに

はじめに

はじめに

はじめに

はじめに

n番煎じですが何かの参考になれば幸いです。

25-2-25: Claude 3.5 Sonnet (Oct 2024)、Claude 3.7 Sonnet Extended 追加（結果のみ）
24-5-14: ChatGPT 4o追加
24-4-29: Qwen1.5-110B-Chat-gguf Q4-K-M 追加（結果のみ）
24-4-18: Command-R+ (cohere playground) 追加（結果のみ）

はじめに

sd-scriptsのリポジトリでは画像ファイルとキャプションファイルを指定してStable DiffusionやLoRA等を学習できますが、場合によってはより柔軟な学習をしたいこともあるかと思います。たとえば画像を動的に生成したい、augmentationを自由に行いたい、画像やキャプションをステップに応じて変化させたい、などです。
この記事ではそのような場合に、任意のDatasetを定義して学習する方法について記述します。

サンプルデータ

※1/10追記：コメントでご指摘いただきましたが、キャプションが有効（CrossAttentionが存在する）なのはblock 1, 2, 4, 5, 7, 8, 12, 16 ~ 24です。他のblockのキャプションは無視されます。確認が足らず失礼いたしました。
ご指摘いただいたgcem156氏に感謝します。

Stable DiffusionのDreamBoothについて、以前の記事では記事にスクリプトを添付していましたが、新たにgithubのリポジトリを作成しました。そちらを用いた学習について解説する記事です。

Stable Diffusion checkpointとDiffusersモデルの変換スクリプトは、Diffusers公式からStable Diffusion v1.xのものは提供されていますが、2.0対応のものは12/3時点でリリースされていません。拙作のDreamBooth学習スクリプトでモデル自体の変換はすでに実装済みですので、それにコードを追加して、相互に変換を行うスクリプトを作成しました。
せっかくですのでv1.xとv2.0の双方に対応してあります。

多くの方はWeb UI他の画像生成環境をお使いかと思いますが、コマンドラインからの生成にも、もしかしたら需要があるかもしれませんので公開します。
Pythonで仮想環境を構築できるくらいの方を対象にしています。また細かいところは省略していますのでご容赦ください。

※12/17：v9に更新しました。「Diffusersの環境構築とスクリプトの準備」に飛んでください。

Stable Diffusionのモデルは大きくVAE（Auto-Encoder）、Text Encoder、U-Netからなりますが、VAEは画像と潜在空間の変換を行っています。VAEを入れ替えることで出力される画像が変化し、たとえば特定のジャンル（アニメ絵など）がより高精細に出力される、といったことが期待できます。