Tripoで生成した3Dモデルで人物のポーズを指定し、画像生成で見た目を整える

Tripoの超解像度モードを使うと、人物の3Dモデルもかなり再現することができます。（実は髪の毛が肩に引っ付いてたりしますが）

元画像は以下です。

さて、ここまで再現度高く3Dモデルが生成できるなら、この3Dモデルをマネキンにして、ポーズを手動で指定し、画像生成で絵柄を修正することで、コントロール可能な画像生成ができると思いました。
試した手順を紹介します。

今回の記事には関係ありませんが、Tripoを使った3Dモデル生成についていくつか記事を書いているので、参考までに載せておきます。

動画でも解説しています。

3Dモデルを生成するための画像の準備

このキャラクターの3Dモデル生成します。

Tripoの3Dモデル生成では、画像の解像度はかなり重要なため、Nano Bananaではなく、Seedreamで加工します。

ComfyUIのSeedreamを利用するため、以下の記事を参考にしてComfyUIのワークフローを用意してください。

以下のワークフローでTポーズの画像を生成します。

以下の画像が生成されました。

明らかに右側に寄っているのと、足を完全に閉じていると、3Dモデル生成の時に、足が繋がるリスクがあるため、更に加工して足を広げます。

右に寄っていることについては、Windowsの標準画像編集で加工し、足をそろっていることについては、再度Seedreamで加工します。

以下の画像が準備できました。

少し白飛びしていますが、この画像で3Dモデルを生成していきます。

ただ、高解像度で画像を準備させておきながら、5MB以上の画像はアップロードできないので、Windowsの標準機能などで、画像のファイルサイズが5MBを下回るようにファイルを保存しなおす必要があります。

これで画像の準備は完了です。

3Dモデル生成

細かい手順などは、以下の記事などを参考にしてください。

Tripo Studioを開き、3Dモデルを生成していきます。

以下のように、画像をアップロードし、「超解像度」モードになっていることと、生成で30クレジット消費されそうであることを確認します。

以下のような画面が表示されたら、生成が進んでいます。

少しすると、人物のシルエットに変わります。

少しすると、3Dモデルが生成されました。

続きまして「テクスチャ」を生成して、色を付けていきます。

「テクスチャ」タブはこんな感じです。
「テクスチャを生成」をクリックします。

順調に下のバーが進んでいきます。

少し待つとテクスチャが貼られた状態で、3Dモデルが生成されます。
パット見は、なかなかですね。

そのまま使えるかは微妙

続きまして、「リギング」で体を動かせるようにしていきます。

「リギング」タブはこんな感じです。
「自動リギング」をクリックします。

順調に下のバーが進んでいきます。

リギングが完了すると、左のウィンドウにモーション名が書かれたアイコンが表示されます。
どれを押してもクレジットは消費されません。

試しに「歩く」をクリックすると、「リターゲティング」が開始されます。

完了すると、以下のようにチェックが付きます。

あ、なんか変な感じになってますね。

リギングを「リトライ」する必要があります。
※うまくいかない場合は、画像の準備や3Dモデル生成からやり直す必要があります。

今回の場合は「リトライ」したら改善しました。

こんな感じのモーションになります。

この3Dモデルをダウンロードします。
↓アイコンをクリックして、「エクスポート」をクリックします。

以下のようなファイル名で.glbファイルをダウンロードできます。

Blenderでポーズ変更

Blenderで簡単なポーズ変更をします。
Blender環境が構築できていない場合は、以下からダウンロードしてください。

https://www.blender.org/download/

Blenderを開くと、以下の画面が開きます。

「ファイル　＞　インポート　＞　glTF 2.0（glb/gltf）」をクリックします。

以下のようなウィンドウが表示されるので、.glbファイルを選択し、「glTF 2.0」をインポートをクリックします。

一応インポートされました。

不要なオブジェクトは選択し、deleteをクリックすることで削除できます。
マウスをスクロールして、拡大することで、先程生成したモデルが確認できます。

ここのどちらかのアイコンをクリックすると、テクスチャありの状態で表示されます。

下の再生ボタンを押すと、歩いてくれます。

画面上部の「スカルプト」タブをクリックすると、丸い球体は消えます。
「Shift + window + s」などで画面キャプチャを取ることで、ポーズを変えた画像を出力することができます。

Blenderの操作に慣れていれば、「ポーズモード」を選択することで、球体を軸にポーズを変えられます。

①左の回転マークをクリック
②肘などの関節をクリック
➂末尾に「Twist」が表示されていないことを確認

こんな感じで、「Twist」が末尾にある場合は、もう一度クリックしてください。

黄色を左クリックでつまんで回転させると、関節が曲げられます。
（ポーズを固定する場合は、キーボードのAキーとIキーを順番に押してください。）

「オブジェクト」モードに戻して、カメラとライトを追加します。
ここからは、ある程度の慣れが必要です。

カメラやライト設置には、Blender MCPが助けになるので、利用可能な方はこちらで試してください。

とりあえず、カメラとライトを追加したので、「レンダー　＞　画像をレンダリング」をクリックし、レンダリングします。（画像として出力します。）

見た目は微妙ですが、こんな感じで表示されます。

「画像　＞　名前を付けて保存…」をクリックします。

以下の画像が出力できます。

画像生成のインプットに使う

Seedream

以下のワークフローでSeedreamのワークフローのインプットに使ってみます。

無理ではないかー、って感じですね。

SDXLのDreamBooth

実はこっちが本命です。

以下の記事で紹介したSDXLのフルファインチューニングで作成したモデルを使って、画像生成します。（フルファインチューニングは大量にVRAＭが必要です。）

とりあえず、マスク画像を生成します。

これはNano Bananaです。
詳細は以下を確認してください。

これまでに作成した3Dモデルの画像とマスク画像をインプットにして、ComfyUIでSDXLのi2iをします。

以下の画像が生成できました。
今回は雑に作りましたが、ある程度使える結果になったと思います。

感想

工程は多いですが、人物のポーズをかなりコントロールすることができます。
Seedreamだと生成できない場合には使えるかと。