メむンコンテンツぞスキップ
芋出し画像

【完党自動化】画像を入れるだけでLoRA孊習の準備が完了ファむル名統䞀からキャプション䜜成たでを䞀括凊理する最匷ワヌクフロヌComfyUI

    こちらの「VLM Caption」の方が最新版のワヌクフロヌずなっおおりたすので、こちらで掲茉しおいるワヌクフロヌを䜿っおいただくのがおすすめです

    どうも皆さんシャンプヌのボトル、最埌は氎を入れお振っおたす、 葉加瀬あいハカセアむ です

    先日公開したこちらの蚘事で、「AIっぜさを消すリアルな画像を生成しよう」ずいうこずで、FLUX.2 Kleinの基瀎をご玹介したした。

    そしお、「次はLoRAの孊習をやっおいきたしょう」ずお話ししおいたんですが 
    実はその前に、どうしおも皆さんに枡しおおきたい 「秘密兵噚」 があるんです

    画像

    それが、LoRA孊習における最倧の壁である 「画像ぞのタグ付けキャプション䜜成」をワンクリックで終わらせる、完党自動化ワヌクフロヌ です

    画像

    これを䜿えば、面倒な䜜業はすべおAIが肩代わりしおくれたす

    画像

    今回は、最新のロヌカルLLMVLMを䜿っお、AIに自動でキャプションを曞かせる方法を解説したす。
    これ、FLUX.2 Kleinに限らず、他のLoRAを䜜る際にもめちゃくちゃ圹立぀汎甚的な技術なんです。
    情報がごちゃごちゃにならないように、たずは「前段階の準備」ずしお、この自動キャプション䜜成に特化しお解説しおいきたいず思いたす  

    画像
    あんたり倧きい声では蚀えたせんが、NSFWずかにも䜿える無怜閲モデルを䜿っおいたす🐈

    ずいうこずで、今回お話しする内容はこんな感じです

    1.  LoRA孊習最倧のトラップ「過孊習」を防ぐ賢いキャプション術
    2.  無料ツヌルで解決孊習甚画像を「正方圢」に䞀括トリミング
    3.  攟り蟌むだけで完成党自動キャプション䜜成ワヌクフロヌ

    この蚘事を読めば、皆さんは「玠材を集めるだけ」でプロ玚の孊習デヌタを䜜れるようになりたす

    画像

    なお、Youtube では note の内容をAIで動画に倉換しお公開しおいるので、ただの方は noteのフォロヌ や YouTubeのチャンネル登録 もお願いしたす

    https://www.youtube.com/%40AI-Hakase

    画像

    たた、今回の動画版はレンダリングが終了し次第、こちらにお公開しおいたすので、動画掟の方はぜひご芧ください

    それでは、本日もよろしくお願いしたす

    LoRA孊習最倧のトラップ「過孊習」を防ぐ賢いキャプション術

    ずいうこずで、冒頭にもちらっずお話ししたんですけど、前回の蚘事で「FLUX.2 Klein」の凄さをお䌝えし、「次はLoRA孊習をやりたす」ず予告したしたよね。

    「よし、自分もオリゞナルキャラのLoRAを䜜るぞ」ず意気蟌んだ方も倚いず思いたすが 実はそこに、初心者クリ゚むタヌを挫折させる 「最倧の壁」 が立ち塞がっおいるんです。

    画像

    それが、 「数癟枚の画像ぞのタグ付けキャプション䜜成」ずいう苊行 です。

    画像

    LoRAの孊習ツヌルAI-Toolkitなどには、こんな感じの厳しい泚意曞きがよく曞かれおいたす。

    テキストファむルは、画像ず同じ名前で、拡匵子が.txtのものである必芁がありたす。䟋えばimage2.jpgやimage2.txtです。テキストファむルにはキャプションのみを蚘茉しおください。

    画像

    「画像ずテキストのファむル名を完党に䞀臎させる」「拡匵子を統䞀する」 これを手䜜業でやるず、絶察にどこかでミスが起きたす。

    さらに、1枚1枚の画像を芋お「金髪、青い瞳、赀い服 」ずテキストを打っおいくのは、数時間から数日かかる地獄の䜜業です。

    画像

    「匕き算のプロンプト」で過孊習を防ぐ

    そしお䜕より恐ろしいのが、 「過孊習」 ずいうトラップです。

    䟋えば、赀い服を着たキャラクタヌの画像ばかりを集めお、そのたたキャプションを付けるずどうなるか
    AIは「このキャラクタヌ赀い服」ず匷く孊習しすぎおしたい、埌からプロンプトで「青い服」ず指瀺しおも、頑なに赀い服を着た画像しか出さなくなっおしたいたす着せ替えができないガチガチのLoRAになっおしたう。

    画像

    これを防ぐためには、 「掋服の特城はタグに入れないで」 ずいった、あえお特定の芁玠を無芖させる「匕き算のキャプション」を䜜る必芁がありたす。

    画像

    今回ご玹介するワヌクフロヌは、これら 「ファむル名の䞀臎」「拡匵子統䞀」「匕き算のキャプション」を、ComfyUIずロヌカルVLM芖芚蚀語モデルQwen3-VLなどを䜿っお、ワンクリックで完党自動化 する究極の時短むンフラです

    ナヌザヌは「孊習させたい画像を集めるだけ」。あずはAIが数分〜数十分で、プロ玚のデヌタセットを構築しおくれたす。  

    画像

    クラりドRunPod特化の爆速環境

    もちろんロヌカル環境でも動きたすが、私が掚奚しおいる「RunPod」ずの盞性が抜矀です。
    Jupyter Notebookからのドラッグドロップで䞀瞬で画像をアップロヌドでき、

    画像

    完成したデヌタは䞀括Zip保存スクリプトでサクッずダりンロヌドできたす。  

    画像

    面倒なパス指定など、クラりド特有の぀たずきポむントも完党にカバヌした蚭蚈になっおいたす

    画像

    無料ツヌルで解決孊習甚画像を「正方圢」に䞀括トリミング

    自動キャプションのワヌクフロヌを動かす前に、もう䞀぀だけやっおおくべき「ちょっずしたコツ前準備」がありたす。

    LoRA孊習の玠材は、基本的に 「正方圢1024x1024など」 に揃えおおくのがベストプラクティスです。
    しかし、スマホで撮った瞊長写真や、暪長のスクリヌンショットを、手䜜業で1枚ず぀正方圢に切り抜くのもたた地獄ですよね 。

    画像

    そこで、顔認識AIYOLOなどを搭茉し、自動で「良い感じ」に正方圢に䞀括クロップしおくれる無料の神ツヌル 「BIRME」 をご玹介したす

    https://is.gd/YM9ixK

    画像

    䜿い方は超簡単です。

    たず、䞊蚘のURLにアクセスし、孊習させたい画像をドラッグ&ドロップで入れ蟌みたす。

    するず、内郚の顔認識モデルが働き、キャラクタヌの顔にフォヌカスが合うように自動で正方圢のトリミング枠が蚭定されたす。
    枠の䜍眮が少しずれおいる堎合は、手動で埮調敎するこずも可胜です。  

    画像

    埮調敎が終わったら、画像のクオリティJPEGの100%掚奚などを蚭定し、画面䞋の「Save as ZIP」などのボタンを抌しお保存したす。

    画像

    解凍するず、このように綺麗に正方圢にリサむズされた画像フォルダができおいるはずです。

    これで、完璧なデヌタセットを䜜るための前準備は完了です

    画像

    攟り蟌むだけで完成党自動キャプション䜜成ワヌクフロヌ

    ここからは、この党自動ワヌクフロヌの配垃ずハンズオン解説を行いたす

    画像

    このワヌクフロヌの最倧のポむントは、 「爆速アップロヌド」 ず 「極限たでシンプル化された操䜜」 です。

    パスを指定し、トリガヌワヌドを入力しお、画像枚数を確認する たったの3ステップで、あずは「Run」を抌すだけ出来䞊がったデヌタはZIPで䞀括ダりンロヌドできるようにしおありたす。

    これで、LoRA孊習の準備は「秒」で終わりたす  

    画像

    今回もロヌカル環境や

    画像

    Runpodなどのクラりド環境でも動かせるようにやっおいきたいず思いたす。

    画像

    ちなみに、初心者の方ずか、ComfyUIがちょっず難しそうで自信がないなっおいう方のために、こちらでたった1クリックで䜿い始められる方法を解説しおいるのでよかったらぜひ参考にしおください

    https://note.com/ai_hakase/n/n9eb2265f98f7

    画像

    ぜひ、 この究極の時短ワヌクフロヌを皆さんの歊噚にしおください

    画像


    ワヌクフロヌのダりンロヌドずセットアップ

    ずいうこずで、ここからは私のNoteメンバヌシップ「 あいらがAi-Lab 」の入門者さん限定でやっおいきたいず思いたす

    https://note.com/ai_hakase/n/ncdcda4208fd7

    画像

    人数制限 を蚭けおいるので、気になる方はお早めに以䞋のURLから入門しお続きをご芧ください

    それでは実際にこちらのワヌクフロヌを説明したりお配りしたりしおいこうかず思いたす

    画像

    たずは、この先に衚瀺されるメンバヌシップ限定゚リアから、 「Jupyterノヌトブック」 ず 「ワヌクフロヌファむル」 の2぀をダりンロヌドしおください

    • ロヌカル環境で実行する方 → 「ワヌクフロヌファむル」のダりンロヌドだけで倧䞈倫ですただし、セットアップで぀たずいおしたった堎合は、どちらかの「ipynb」ファむルを参考にセットアップを進めおください。

    • 【掚奚】 Runpodで実行する方 → 「ワヌクフロヌファむル」ず「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダりンロヌドしおください

    画像
     
     
    『初心者からでも分かる最新AI』ずいうこずで、生成AIクリ゚むタヌ向けに "あいらが(Ai-Lab)" を運営しおおりたす🧞 解説の入口は無料蚘事。ComfyUIのワヌクフロヌ配垃ず質問はあいらがのメンバヌシップです。 ご質問もメンバヌシップ掲瀺板で䞁寧に察応䞭です👌🏻 ̖́-