hakomikan

Radeon RX 9060 XT 2枚で32GB VRAMをゲットしつつx8x8が必要かを検証したりする

Wed, 09 Sep 2026 22:59:28 +0900

結論

9060 XT 16GB 2枚刺しで32GB VRAM運用してみたよ
Gemma 4 31Bが14 token / s 出たよ。これは5070 Tiより早い
マザーがx8x8対応している必要があるかと思ったけどそんなことはなかったぜ

続きをみる

自己正則化によるトリガーワードの一本化DiSReg(Differential Self-Regulation)

Sun, 06 Sep 2026 17:38:36 +0900

はじめに

　お久しぶりですね。わらわらしている間にAIがすべてコーディングしてくれる世の中になってしまいましたね。Pythonの勉強をしながらSuperMergerを作ってた時代が懐かしいです。

続きをみる

CogView4-6bを量子化して性能を試す

Tue, 18 Mar 2025 00:08:08 +0900

　CogView4-6bを触っていたときに8bit量子化がうまくいきませんでした。試したのはbitsandbytesという手法ですが、世の中には他にも様々な量子化手法があるのでこの機会に試してみます。「bitsandbytes」「PyTorch/AO」「optimum.quanto」「torch.fp8」について、CogView4-6bを例に量子化を行っています。各項目について動作はしましたがかなり各モジュールの奥の方までいじることになったので結果だけの報告になります。

続きをみる

enable_sequential_cpu_offloadを使ってCogView4-6B を12GB(1GB) VRAMで動かす

Tue, 11 Mar 2025 00:42:32 +0900

　CogView4-6Bという画像生成モデルが話題ですね。性能の高さとライセンスの使い勝手の良さが魅力のようです。FluxやSD3.5は高性能ですがライセンス的に使いにくいという問題がCogView4にはないわけですね。
解説記事：とうとう現れたSDXLの後継？CogView4-6Bを解説する　

　本稿ではCogView4-6Bの性能チェックとVRAM削減について考えます。現状ではSDXLがメインストリームですが、これは8GB VRAMのGPUでも動作する点が大きいと考えています。

　多くのユーザーは8～12GBのVRAMを使用している訳ですから、それを越えるようなVRAMを要求するモデルはメインストリームになり得ないわけです。CogView4-6Bにおいては元コードにおいても、他でテストをしている人からの情報でも12GBではギリギリ足りないという話を聞いています。ダメじゃん。16GBの5000シリーズは供給が安定するまでに6週間を要すると言われています。供給が安定するまでに6週間を要するということは供給が安定するまで30週かかるということなので、当面16GB VRAMは手に入らないわけです。AMD頑張って。チャンスだよ。応援してるよ。

　というわけで、何とか12GBで動かしてみようと思います。結論から言うと最初はfp8を試そうとしたのですがなぜかVRAM使用量が減らなかったのでenable_sequential_cpu_offload()方式で生成することでVRAM使用量は1GB程度に収まりました。これはTransformerのみで、TextEncoder部分は盛大にVRAMがあふれています。あふれていますがTextEncoderの処理はすぐに終わるのであまりきにならない。

続きをみる

ADDifTの実践1

Thu, 06 Mar 2025 00:23:39 +0900

　前回の記事ではADDifT原理について解説しましたが、本稿では実際のコードを使ってADDifTを使ってLoRAを作ってみます。コードはStable Diffusion WebUIの拡張TrainTrainに実装しています。

　現在ではStable Diffusion XLが主流なのでXLのモデルでもちゃんと動作するのかを試してみましょう。

続きをみる

交替直接差分学習法ADDifT(Alternating Direct Difference Training)の解説

Tue, 04 Mar 2025 20:50:46 +0900

　LoRA学習の技術は日進月歩ですが、その根本となる学習手法は初期の段階からほとんど変わっていません。今回は新しい学習手法を開発したので解説します。この技術ではコピー機学習で行っていた差分学習の所要時間を10～20分の1に短縮し、複数の画像セットの同時学習も可能とします。画像モデルだけでなく他の拡散モデル全般に応用できる可能性があります。

続きをみる

NegPiPの仕組みとFLUX対応

Fri, 11 Oct 2024 21:03:21 +0900

　FLUXは表現力が高いのですが、ネガティブプロンプトが使えないのはとっても困ります。ネガティブプロンプトを導入するためにはCFGを有効にする必要があるわけですが、生成時間が2倍になってしまいます。ただでさえ長い生成時間が2倍になるのは厳しいですね。そこでNegPiPの仕組みが使えないかと考えるわけです。

　NegPiP(Negative Prompt in Prompt)はStable Diffusion 1.X, 2.X向けに私が考案した手法です。原理上、ネガティブプロンプトはプロンプトよりも弱めに効くようになっているわけですが、プロンプトと同じ強度でネガティブプロンプト使えるようにする仕組みです。これにより従来のネガティブプロンプトでは対応できなかった物まで消せるようになったわけですね。

続きをみる

Fluxのモデルマージ

Wed, 09 Oct 2024 23:58:32 +0900

　ご無沙汰しております。ちょっと離れている間にいろいろな事が起きているようで何とか追いつこうとしているところです。とりあえずは溜まっているissueとかに対応しつつ、新技術を触ったりしています。SD3はマージ機能を作る前になんか黒歴史化してしまっているようでして、ここではその後に出てきて話題になっているFluxのマージについて研究してみます。

　現行のWeb-UIではFluxは使えないので、対応しているForge用にSuperMergerを改造します。とりあえずは階層マージは忘れてふつうのマージを行ってみましょう。使用したのは以下のモデル。

続きをみる

Stable Cascadeを触ってみつつ、サンプルコードを改良してVRAM消費を抑える

Wed, 14 Feb 2024 02:39:46 +0900

　StabilityAIから新しいText to ImageモデルStable Cascadeが発表されました。XLの正式公開が2023年7月26日なので半年しか経ってません。そして全く互換性がありません。XLのブーム始まったばかりなのに早いって。

　というわけで生成してみます。一応生成までの道のりを記しておきます。

続きをみる

Stable Diffusion XLで生成画像の破綻が起きる問題の解析と対策

Fri, 09 Feb 2024 21:07:03 +0900

　Animagine XL V3が出始めた辺りから、特定のプロンプトを入力すするとアーティファクトが出てくると言う話がポツポツと聞こえてきました。アーティファクトって言われると古代兵器を思い浮かべてしまうわけですが、ここでいうアーティファクトというのはノイズではないけれどなんか変な画像という意味ですね。

　細けぇ事はいいんだよ解決方法だけ教えろという方は最後の方にある説明を読んで下さい。

続きをみる

デルタもんを例にキャラクターLoRAを作る

Thu, 01 Feb 2024 20:06:09 +0900

　TrainTrainのLoRA作りについてチュートリアルを作ろうかと思っていたところで、AIに限り制限無く使用可能なキャラクター「デルタもん」が発表されました。大変素晴らしく面白い試みですね。早速デルタもんちゃんを例にしてLoRAを作ってみましょう。

デルタもんちゃん(-189)。ポケットに入れたふたつの物を融合させることができるらしい。入れる物の大きさに制限はあるのだろうか。人間の耳の他にケモ耳も備えるため、聴力には自信がありそうだ。プロフィールによると意外と重い使命を背負っているようである

続きをみる

LECOの学習を高速化する

Fri, 19 Jan 2024 20:43:08 +0900

　こんにちは。READMEで書くには長そうだったのでこっちに書いてみます。Stable Diffusionの概念を消す/強調するLECO(Low-rank adaptation for Erasing COncepts)の学習時間を短縮する方法について解説します。

　LECOはPlat氏によって提案された学習手法で、Stable Diffusionのモデルから概念を除去する手法ESDをLoRAに落とし込んだものです。LECOで作られたLoRAはモデルから特定の概念を消去できるほか、LoRAのウェイトをマイナスにすることで概念を強化することが可能です。この手法の特徴はLoRAの学習において教師画像が必要ないことです。モデル自体に画像を生成させ、それを学習するわけですね。

　今回はこのLECOの学習過程を改良し、学習時間を加速させてみたいと思います。それではLECOについておさらいしましょう。LECOではふたつ(学習時には4つ使っているけれど大事なのはふたつ)のプロンプトから作り出されるノイズ予測の差を比較してふたつのプロンプトの差に相当するLoRAを学習します。このとき、学習しているLoRAを使って生成を行い、その途中でふたつのプロンプトのノイズ予測に分岐をして学習を行います。

続きをみる