【AI絵本】【ImageFX×Sora×ChatGPT】絵本動画を作ってみました。

少し間が空いてしまいました。おひさしぶりです、トレンドさんです

前回、妄想動物園↓を幼稚園児と作り

画像を動かすノウハウを掴みました。

今回、かねてからやってみたかった、童話を動かすということを始めました。

記念すべき（？）第1作目はガリバー旅行記↓

その紆余曲折を記録しようと思います。
初心者による初心者のための軌跡です。

①読み聞かせ原稿作成

基本的に世界名作といわれる童話達は著作権が切れてますが、日本語訳には残ってたりするので、自分で用意しました。

ChatGPTと協力して原作を入手し、直訳、その中で残したいエピソードを選び子供向けの読み聞かせへと言葉を整えるというステップです。

というのも、ガリバー旅行記は大好きな童話の一つなのですが、絵本ではガリバーのおしっこのシーンがカットされてたりします。
子供達爆笑必須のおもしろシーンなのに。

ところで、ガリバー旅行記って異世界転移ものともとれるよね。流行の最先端やで！第3部では日本がでてくるところもエラい！

そんな感じにエピソードにもこだわりつつ作っていったのですが、後述の動画化Soraの処理が時間かかりすぎて読み聞かせ原稿ばっかり溜まってます。

ここで大変だったのは、複数作りたかったので、一貫性を出すためのプロンプト作り、ChatGPTの教育でした。
プロンプトエンジニアリングについてはいまじん動物園の時に書いたので割愛。

②画像化

基本的にImageFXで行っていたのですが、ChatGPT、DELLE3が進化しすぎてて次からChatGPTでやろうと思ってます。

ImageFXだと
人物の一貫性が難しい。
ポリシー違反がSoraと違う（ガリバーが縛られているがsoraではだせない）
ブレ幅が大きい

などの問題がありました。
Stable Diffusionみたいにいろいろ設定できればいいんでしょうが、知識もスペックも初心者な私にはまだまだハードルが高そうです。

ChatGPTの画像生成の進化に期待。

③動画化

Soraを使いました。アップデートでいろいろ変わるんでしょうが、今回の生成であった問題点としては

生成キューの待ち時間がやばい（17時移行は使えないに等しい）
10秒までしかなく、動画同士を繋ぐのが難しい。（最後の一コマをストーリーで指定してもちゃんとつながらなかったりする）

制作の一番の律速因子でした。せっかく順番がきて生成されてもおかしなこともあるし

④動画編集

以前はPower Directorを使っていたのですが、テレビでコマーシャルしてるのもありCanvaでやってみました。

オーディオファイル50個までという縛りがあるので、音声のみ先に繋いで、1ファイルへ。それに合わせて動画をハメていくスタイルでやりました。
音声のマが気に入らなければCanvaの「分割」で切ることもできますし不便は通信量以外はあまり無かったです。

インターフェイスもPowerDirectorに似てます。

無料Canvaは無料PowerDirectorに比べて、効果音やアップロード、ダウンロードの時間、通信量、テンプレートの豊富さが劣る点かな。ウォーターマーク入らない、クラウドなので他端末でも編集可能なのは◯。
あとは画質をどうにかしたい。

⑤ガリバー感想

最初に苦労したのは音声AI選び。最初はVOICEVOXでやろうとしたのですが、PCスペック的に現実的じゃない+スマホでやりたい。という点で挫折。

みんなどうしてるんだろう？とネットサーフィンしてたら見つけたのが↓

まさかYoutubeで感動することがあるなんて…
「強くてニューゲーム」が分かる人は必見です。まるでリメイク映画を見たかのような満足感があります。
なんなら「セフィロス」で誤魔化したFF7リメイク映画より良いくらい。

世の中のクリエイターさんにはすごい人がいっぱいいるんだなってのを改めて感じました。

話が飛んでいきましたが、この動画で「にじボイス」というAIを使っていたのでそれを採用することにしました。

その後は上に書いたような、人物の一貫性、動画の繋ぎ方、Soraの行列などにぶちあたりながら制作を続けてました。
まだまだ満足のいく仕上がりではないのですが、今の私の力量ということで一旦の完成としました。

まとめ

そんな感じでしばらく絵本作りを続けていこうと思います。

もし改善点などあればアドバイスいだだければ嬉しいです。

Soraの待ち時間がやばいので、イソップ物語や動物主体のやつはいったん絵本にして、作りたいやつが終わってから、また動画にしてみようと思ってます。

いまじん動物園の再生回数が一瞬で抜かれてて悲しいやら嬉しいやら。
楽しんでくれる人がいるのがなによりです。

それではまたどこかで

良い生成ライフを！