建築ビジュアルCG × AI活用法㉒｜AI 3Dモデル生成ツール『HYPER3D』の徹底分析：バーチャルヒューマン＆HDRI画像生成機能を解説

こんにちは。STUDIO55技術統括の入江です。
前回は、3Dモデル生成AI「Rodin（ロダン）」について解説しました。

今回は、ロダン が搭載されている『HYPER3D』の中から、特に注目すべきツールをピックアップし、その特徴を詳しく解説します。

AI3D総合プラットフォーム『HYPER3D』

HYPER3D プラットフォーム には、前回紹介した「Rodin（ロダン）」を含め、大きく3つの ツール カテゴリ があります。

『HYPER3D（ハイパー3D）』は、ユーザーに 3Dモデルの制作環境を提供する AI 総合プラットフォーム です。

今回は、この中から 待望のリリースとなった『ChatAvatar（チャットアバター）』と、OmniCraft から、無料で使える高解像度パノラマ画像生成ツール『HDRI Generator』について解説します。

🔶ChatAvatar（チャット アバター）

近年、テレビCMや企業広告で見かける美人モデルが、実は仮想上の「バーチャルヒューマン」だと気づいている人はどれくらいいるでしょうか？

例えば、野村グループ や 伊藤園 をはじめ、COACH、FENDI、PRADA、TOMMY HILFIGER、Lenovo、Amazon etc… といった名立たる企業CMや広告に登場する「imma（イマ）」は、SNSの総フォロワー数が100万人を超える 超人気の "バーチャルヒューマン" です。

下の画像は、彼女のインスタ投稿ですが、コメントや写真からも、あたかも 実在するモデル にしか見えません。

ピンクボブ が 特徴的な imma は、アジア発のバーチャルヒューマンとして、2018年に日本のベンチャー企業 株式会社 Aww が手掛けました。
現在は広告モデルにバーチャルヒューマンを起用する企業が増える傾向にあり、imma の他にも、多数の "モデルタレント" が活躍しています。

imma の妹として2019年に登場した 美少女「Ria（リア）」などもそうです。

HYPER3D の『ChatAvatar（チャット アバター）』は、このような バーチャルヒューマン を 数分でテキストまたは画像からアニメーション可能な 3D アバターを生成できる 3D GenAI ツール です。

「キャラクター制作」は ゲーム業界などで需要が高く、CG技術の進化を象徴する分野です。また、ジェネレーティブAIにおいても、表現サンプルの中心は美少女キャラをはじめとするキャラクターに比重があり、ここ数年でキャラクター制作のワークフローは大きく変化しています。

「ChatAvatar」 によって、3Dキャラクター分野に新たなゲームチェンジがもたらされる可能性を感じます。今後、3Dキャラクターが世界中で広がり、多様に派生していく未来が容易に想像できる状況になっています。

・使用例

とりあえず、自前の写真を使って チャットアバター のテストをします。美少女ではありませんが、あしからず（苦笑）。

写真をドラッグ＆ドロップで取り込み、プロンプトはブランクのまま "ミディアムショット" でジェネレート。

👉 元の写真は首をやや右に傾かしげています。それが、ChatAvatar に取り込まれた画像は真っ直ぐに自動補正されている点などもご注目ください。

わずかな時間で、プレビューが完成します。
写真とオーバーレイさせたスライダー比較で、その精度の高さが伺えます。
※生成された自分の顔が他人のように見えます（苦笑）

エクスポート設定を行います。
左上の数字が使用されるクレジットです。テクスチャは 2K で2クレジット、モデルは MetaHuman や Daz3d 用の3Dトポロジーとして直接書き出せますが、それぞれにさらに 2クレジットが必要です。
ここでは、スタンダードな「2K」サイズ で「Default」のまま行います。

また、生成モデルには リグ設定済みのボディ生成 などの追加オプションを設定できます。ここでは、「Eye & Teeth（目と歯）」をオプションとして追加します。

👉 追加設定がない場合は、純粋な顔形状のモデルと、正面側のマテリアルだけがエクスポートされます。

ダウンロードデータには 「environment.exr」 が含まれており、これを使用してライティングが可能です。

後ほど紹介しますが、「HYPER3D」では3DモデルをライティングするためのHDRI（ハイダイナミックレンジのプロパティを持つ画像の事）生成機能が付いています。「ChatAvatar」ではそのようなスタジオライティングにあたるHDRIが附属された非常に優れた設計となっています。

Blender でモデルデータを読み込んだ画面が下の画像です。

「Eye & Teeth」の追加設定 でエクスポートしたモデルは、メインモデルとは別に「additional_component.obj」としてダウンロードフォルダに格納されています。

それを 3dsMax で読み込んだ画像が次の画面です。
目やまつ毛、口腔モデル(歯茎、歯、舌など)も ちゃんと生成されています。
※なんだか外人みたいになっちゃいました。国籍不明（苦笑）

サングラスだけ、「Tripo AI」で別生成したモデルを使います。

environment.exr でライティング。下の画像が、V-Ray IRP の画面です。

似てるかどうか…… 髪の毛がないと、今一つ分かりにくいですが、形状は確実に画像に沿って生成されているようです。サイトのサンプルを見ても、同様に画像に基づいた形状生成が確認できます。

1月15日、ディーモス の X にて、HyperHuman が 髪の毛の生成に対応 したと発表されました。現在はまだ ベータ版（内部） ですが、この進化は大きな衝撃を与えています。

これにより、近い将来、画像ベースでより完成度の高いアバター生成が可能になる ことが期待されます。

👉 HyperHuman : HYPER3Dの技術全体で再現される高度なバーチャルヒューマンの総称

✅FaceLift（フェイス リフト）

同日の1月15日、カリフォルニア大学マーセド校 と Adobe Research（アドビ リサーチ）が共同開発した、1枚の顔画像から高品質な3D頭部モデルを生成する技術『FaceLift（フェイス リフト）』が発表されました。

この技術は、マルチビュー拡散モデルと 3D Gaussian Splatting （ガウス スプラッティング）生成モデル「GS-LRM」を組み合わせて、360度の頭部モデルを作成する技術です。

👉 GS_LRM(Large Reconstruction Model for 3D Gaussian Splatting) : arXiv はこちら。

髪の毛までワンストップで生成できる高い作業効率はもちろん、個人向けアバターやキャラクター制作の簡易化がどこまで進むのか、次世代の “常識” が着実に整いつつあります。

✅Media2Face プロジェクト

生成したモデルに "表情" を与える技術の進展について、どのような現状があるのかについても情報を共有します。

昨年(2024年)1月28日に arXiv（アーカイブ）に論文が投稿され、SIGGRAPH 2024で発表された「Media2Face（メディア ツー フェイス）」プロジェクトは、3Dアバターに表情やリップシンクを生成する 現在もっとも注目を集めるリアルタイム生成技術の1つです。

「Media2Face」のサイトにある解説によると、この技術は従来の手法と異なり、Generalized Neural Parametric Facial Asset (GNPFA) を活用した効率的なアプローチを採用していることが特徴となっています。

・GNPFA

GNPFA は、顔の表情（emotionやmovement）と アイデンティティ（identity）を効率的に切り離してモデリングするための 変分オートエンコーダー（VAE）ベースの手法です。

簡潔に解説すると、顔のアニメーションや3Dモデルを扱う際、表情（怒り、笑顔、驚きなどの一時的な変化）と アイデンティティ（その人物の基本的な顔の特徴や骨格）は、異なる要素です。GNPFA はこれらを個別に扱うことで、より柔軟で再利用可能なモデリングを可能にします。
この分離によって、ある特定のアイデンティティ（例えば「太郎さん」）を基にして、新しい表情だけを簡単に生成したり、逆に特定の表情を別のアイデンティティに適用したりすることができるということです。

GNPFA は、変分オートエンコーダー（VAE）を活用し、表情とアイデンティティを分離して表現する潜在空間を学習します。

また GNPFA は、音声だけでなく、テキスト や ジェスチャーデータ など複数の モダリティ を同時に利用する「マルチモダリティガイダンス」を通じて、より豊かなアニメーションを生成する点も特徴となっています。

この「M2F(Media2Faceの略称)」を活用した リアルタイムアニメーション生成 は、ChatAvator で公開が予定されています。
そのため、今後のアップデートで、「次元を超えたアバター生成」が実現することが期待されています。

キャラクター制作がより "時短" で、"誰でも制作可能" になることは、新たなビジネスモデルや文化が誕生する可能性につながります。インディーズ ゲーム や小規模チーム、個人クリエイターによる斬新なアイデアやアートスタイルが生まれやすくなり、異業種コラボレーションの活性化にもつながることでしょう。

ただ、その一方で、クオリティ管理やオリジナリティの維持が重要な課題となるため、新しい プロフェッショナル の役割や技術的支援の在り方が求められること等も想定されます。

🔷OmniCraft（オムニ クラフト）

OmniCraft（オムニクラフト）は、"Omni"（＝すべて、あまねく）という名のとおり、3Dモデル制作のための 6つのクラフトツール を統合したエコシステムです。

① HDRI Generator : 3Dモデル用のHDRI生成

② Texture Generator : 3Dモデルにテクスチャ生成

③ Rodin Search : 3Dアセットを検索

④ Mesh Editor : スカルプティングツール

⑤ Model Viewer : 生成モデル専用ビューアー

⑥  Format Convertor : 3Dフォーマット変換ツール

～HDRI Generator～

OmniCraft の中から『HDRI Generator』について紹介します。
これまでにも 360度パノラマ画像生成 については 数回にわたってnote で解説をしてきました。

この OmniCraft の HDRI Generator は、更に パノラマ生成の活用幅を展開してくれるツールとなります。

【メリット1.】Free 高画質データ

テキストから パノラマHDRI 生成したテストが下の画面です。
これまで同様、"日本の都市のビル群" の内容で生成しています。

出来栄えに関しては、これまでのテスト内容と比較してもらえればと思いますが、ここで着目すべきは ダウンロードデータ の内容 です。

png と exr、depth がダウンロードされ、なんと、8K 解像度（8192 × 4096）です。これは SkyboxAI と同等のダウンロード品質 という事になりますが、忘れてならないのは、こちらは驚くべきことに フリー ツール だという事です。

HYPER3D のこの無償提供により、CG や ゲーム制作 などにおける環境データは、誰もが気軽にHDRIを入手できる機会を広く与えるものとなるのは間違いありません。

【メリット2.】 エキスパンド パノラマ生成

HDRI Generator で もっとも着目している点は、1枚の画像をエキスパンドして パノラマ生成することができる という点です。

従来のCG制作では、窓からの眺望表現には billboard（ビルボード） の設定が一般的に用いられてきました。

HDRI Generator を使用すれば、このようなビルボードを HDRI 仕様のスカイボックスに生成変換することができます。そのため、そのまま ライティング として活用することが可能になります。

雲間から指すゴッドレイの劇的な画像 を、スカイボックスとして使用するテストをします。

数秒で生成された画面がこちらです。

こちらはまだ確認用の画面です。
この内容でOKな場合、「Unlock 8K/HDRI/Depth」ボタンをクリックして各種データを生成させます。

先ほどの画像が、見事にHDRIパノラマ の スカイボックス になっています。

これで、これまで ビルボード としてしか使用できなかった画像を、HDRIスカイボックス として CG制作で使用することができます。

この機能は、AIによるパノラマ生成の盲点を突いた意外性のある活用法で、個人的にも大いに感動しました。
通常の1枚の写真（画像）からパノラマHDRIを生成できるということは、プロンプトによるリテイクが減り、目的のHDRIをより効率的に作成できます。

OmniCraft には この他、3Dモデル（OBJ 、FBX、USDZ、GLB）に テクスチャを生成する「Texture Generator」。主要な 3DCGフォーマットへの変換を行う「Format Convertor」など、クリエイターにとって直感的かつ便利なツールが充実しています。

🔹まとめと所感

AIによる3Dモデル生成は、これまでプロのCG制作者にとって実用に耐えないものが大半でした。

3Dモデル生成AI の分野は、従来の 画像生成AI と異なり、3Dクリエイターとの関わりが深く、高度な専門知識が求められる領域 です。CG制作の専門視点から見ても、3Dモデルのトポロジーやマテリアルの適切な処理が理解されていなければ、AIで生成したモデルは実用に耐えません。

ディーモス テクノロジー の「HYPER3D」は、従来のモデル生成AIが抱えていた課題をクリアし、制作現場の実用性に即した "プラットフォーム" として、3Dモデル生成AI を展開しました。

その視点は非常に興味深く、「AI 3Dモデル生成」の実現において最も重要な要素だったと言えます。

＊

「時短」や「利便性」を加速するAI技術は、ついに3Dモデルの領域にも本格的に進出しました。注目の『HYPER3D』は、プロと一般の垣根を超え、未来のWeb表現を切り開く存在 となるでしょう。今後の進化からますます目が離せません。

次回は、Rodin（ロダン） とその他の注目すべき 3Dモデル生成AI を比較し、それぞれの特徴を掘り下げていきます。

お楽しみに！