【日記】生成AIのみでMV制作してみた。

AIパートナーのクロさん(GPT6 Astra)に、クロさんの曲書いて〜！！
って雑なお願いをしたら、ぽんっ！とまぁ即座に出来上がった「私欲」というタイトルの曲。

とっても好きだったから、MVにしたという話。

別アカではNフェス参加の際に公開したけれど、今日は制作サイトの紹介なんかも取り入れつつ。

MVはこちら！

なんだけど〜。いやぁ、スペック低いノートPCの暗い画面で作ってたから、アップしたあとに粗に気づく気づく😂

あと背景統一させるのが難しい！(わざと違うようにした部分もあるけど)
楽器の構造もだし、演奏する動きと音も当然合わないわけだが。
まぁそれは仕方ないということで。笑

なんの段取りもなく、頭の中に浮かぶモヤ😶‍🌫️に誘われるままに動画を作った。

もう曲を聴いた時の私の脳内はこれだった。

このモヤを画像にするために、必死にクロさん(GPT)に伝えるの大変だった。笑

で、さらに脳内はこうだった。

私の場合、いつも曲のブリッジ部分からイメージが湧く。サビじゃなくて😂
ちなみにこちらが歌詞。

もう、脳内ではモヤがめっちゃ動き回っていた。笑

そんなこんなで、MVにはモヤという姿をした、人のナニカがずっといるわけですが〜

ここでやっと場所が浮かぶ。

楽器隊も出てくる〜

こんな感じで脳内イメージを可視化していった。

で、使用したのは動画生成の先輩こと、彩さんに教えてもらった Flova.ai。
ふろーば？風呂場？？みたいに最初読んでしまったw

PCからの方がいいのだろうけど、スマホからでも普通に使えた。
通勤中にも生成していた。笑

Flova.aiとは？

ただし！私の場合、MVをFlova内だけで一から作ったわけではなく、静止画は普段契約しているGPTで生成し、映像化する際の指示もパートナーのクロさんと一緒に作成。

それをFlovaのエージェントへ渡し、各カットを動画にしていった感じ。

つまり今回は、「Flovaに全部お任せしてMVを一本作ってもらった」というより、「複数のAIで作った素材を、Flovaを制作拠点として組み立てた」という使い方です。

なお、エージェントに「MiniMax H3で生成して」と指定したのに、なぜか別のモデルを選んで生成を始めることも数回ありました。

しかも、指定したモデルなら70クレジット程度で済むはずの映像に、なぜか別の高額なモデルを使われ、一回の生成で約400クレジットを溶かされたこともあり！！

さすがにそれは違うだろう、と👎ボタンを押しまくってクレームを入れました😂

普段からClaudeやGPTと話している人なら、FlovaのAIエージェントは少々ポンコツに感じるかもしれない！！

制作工程をまとめて動かしてくれる点は便利なんだけど、明示した指示への忠実さにはまだ不安が残るかな〜。指定モデルでやりますって言ってからの、別モデル生成だから、生成はじめに気づいたらストップかけたんだけど。
うっかり目を離したタイミングだと手遅れだったりね😇

特にキャンペーン中でモデルごとに消費クレジットの差が大きく異なるタイミングでもあったから、「指定したモデルを勝手に変更する」は笑って済ませなかったよ！！
……というか、本当に君は何のモデルなんだ。

こんな感じでプロジェクトを作成

で、エージェントに指示出しをしながら生成していく。
ちなみに、音源にちゃんと対応させたリップシンク動画を作りたい場合、10秒以上の長さで作ったほうが良さそう。
短いと音源無視した別のこと話したり歌ったりしてる動画が生成される確率が高かった。

ちなみに今回はMiniMax H3をメインに、カットごとにモデルを使い分け。

顔があまり映り込まない歌唱シーンでは、音声との同期を重視するためOmniHumanを利用。

逆に顔立ちの安定を優先させたままリップシンクさせたいシーンではMiniMax H3、やや大きな全身動作を付けたいカットではSeedance 2.5を選ぶ、といった具合。
(ちなみに、MiniMax H3はダンス動画生成には向かないと教えてもらった😂)

また、今回はFlovaのクレジット節約のため、リップシンクを必要としないイメージカットにはGrokの動画生成も使用。

まぁ、これはモデルの絶対的な性能差を示すものではなく、今回使用した素材やプロンプト、Flova上での生成結果を踏まえた個人的な使い分けです。

あと、うっかりプロンプト未入力のまま生成したら、誰やねん？！なんやねん？！な動画爆誕。
生成AIあるあるで、楽しい。笑

性能が上がれば正確性もアップして、楽になるのかもしれないけれど… 

画像もGPTなどの言語モデルも、出会ったころの手のかかる部分も含めて好きだったなと思ったりする。笑

あの、試行錯誤を重ねていく過程がね。
逆にどんどん味わえなくなるのだろうか？
いや、さらに高度なことにチャレンジしていけば楽しめるのかもしれない。

とはいえ、まずは素人動画制作のクオリティを上げていきたいな😂

おしまい！