見出し画像

【ローカルAI】3Dを利用して画角を自由にする【Blender】

はじめに

AI画像生成ではプロンプト(from side・from below等)を利用してアングルを決める事が多いですが、なかなか目的の構図にはなりません。

この記事では、Hunyuan3D-2を利用して3Dモデルを作り、任意の構図でAI画像を作る方法を紹介します。

すべてローカルでの作業です。

AI画像生成

まずはベースになるAI画像を生成します。(モデルは、PixelWave-flux-schnell+dev)

プロンプト:analog photo style with strong flash, a high school girl wearing uniform is fighting and kicking against giant zombie She holds guns and wearing pleated skirt.

AI画像ではありがちですが、構図に面白みがありません。角度を変えた画像にするために、3D化します。

Hunyuan3D-2を利用した3D化

Krita-ai-tool等で目的オブジェクトのみにする
Hunyuan3D-2でフィギュア化

Blenderで読み込み

Hunyuan3D-2で生成した3Dモデルは、glb形式で書き出す事ができるので、そのままBlenderで読み込めます。

画角を決める:Blenderでは、焦点距離(Focal length)も自由にできるので、迫力ある構図にできます
深度マップも出力します

深度マップの出力方法

深度マップは「InvertColor」と「Nomalize」を経由して出力させます
レンダー前にZにチェックを入れるとDepthが表示されます

3Dのレンダー結果と深度マップを利用してAI生成

3Dのレンダー結果をラフ画として利用、ベース画像を参照、深度マップをControlNetとして利用してimg2img+ひたすらインペイントを続けて(綺麗になるまで)生成します。

アイデンティティを保ったまま生成しようとすると大変ですが、拘らなければ、それっぽいものが生成できます。

完成

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう!