Flux1 hand fix tools＆Face Detailer

さて、これもFluxの性能を活かして実現させたかったツールですが、手の自動修正ツールと、今までとは一味違ったFace Detailer機能と、ダブル機能の搭載版です。

SD1.5の時代から、宿命のように付いて回り続けた破綻した手の修正作業ですが、Ponyの登場辺りから劇的に環境が改善されてきた気がします。

ローカル環境ではありませんが、オンラインサービス型の方でもDALL-E3からかなり良くなってきて、Google Image FXに至ってはほぼ完成された形で手が生成されてきます。

ローカル側も、Flux1はPonyから更に精度が上がってきていますが、また完全ではありません…当然ながら。

ただ、修正用のツールや手順も、Flux1の登場により相当負荷が軽減されてきて、単純なInpaintだけでも相当高精度な修正が出来るようになりました。

んで…実際、Inpaintツールは先だって作成してみた訳ですが…

単純な配置の手は良いんですが、何か物を掴んでいたり、入り組んだ動きの構図だったり、複雑な配置の手になってくると正直期待したほどの精度にはなりませんでした。

構図が入り組んでいると、寧ろInpaintによって悪化するケースの方が多かったです。

まあ…使い方次第…という感じです。LoRAと組み合わせたりして。

そこで、更なる改善を求めて、手の修正に特化したプログラムを作成してみました…と言ってもいつもの如く、原案は他人様の作品を基本真似させてもらって、多少のカスタマイズ…という感じですが。

今回は、下の動画を参考に作成しています。

この方のアイデアで、最も感動したのは…Florence2の使い方です。
(あと多分、英語Nativeの方ではないので、聞き取りやすくて助かります、流暢に捲し立てられるとね…私の英語力では付いていけないのですよ。かつてイタリアの某プロサイクリングチームのパーティーに参加した時、イタリア人の英語はたどたどしく硬くて、聞き取りやすくて助かるわあ...と実感したことがあります。こっちの英語力はもっと悲惨な訳ですが)

今まで、Florence2は主に、画像解析からのプロンプト生成に使用していたのですが、この方の原案は、顔や手の部位の検出に使用している点、「あー…こういう使い方出来んのね」...と、これは以降、色々と真似して応用に活かしていきたい形です。

さて、肝心の性能ですが…これも完全完璧ではないです。嵌ると超絶奇麗に修正してくれますが、その為には多少工夫が要ります。

この場合は上のLoRAを使用し、かつプロンプトを工夫することで奇麗な仕上がりになりましたが、特にプロンプトの工夫がないと、寧ろ悪化しました。

この場合は「grip a gun」というプロンプトによって奇麗に修正が効いて、それらしい形に収まった形です。

FaceDetailer機能に関しては、リアル系に関しては従来作成してきたFaceDetailerと大差ないのですが、特にアニメ系の絵に対してかなり違った仕上がりになります。

そうなる理由と設定については、以降もっと詰めて調べていきたい処ですが、今まで私が各jsonに導入したDetailerと比較して、より強くノイズを消す方向に仕上がります。

奇麗になるといえば奇麗になる...し、ノイズが強く消える分、フラットな感じにはなります。だからアニメ絵に関しては、それが良い…という場合もあるでしょう。