初Runway

「Runway」デビューです。
Image to Videoを使用。
ドローンが進み、その下には波が動くーー映像は、予想を上回る仕上がりでした。

モデル生成は画像生成AIで

次に、もう少し複雑なモデルを動かせるかを試します。
まずモデルの作成です。
「Leonardo Ai」（無料枠）を使い二足歩行型のロボットを生成しました。

IMAGE+DESCRIPTION

Runwayで「IMAGE+DESCRIPTION」を使います。
プロンプトは「This Robot is jumping.」。
しかし、ジャンプしません。
プロンプトを何パターンか試したのですが、工夫が足らないのか、足の関節をうまく動かせません。
ただ、意図と異なるものの、リアル感のあるモーションになっています。

プロンプトを変えてみます。
「Do not move the right foot, which is the fulcrum.
Move the left foot forward while maintaining the center of gravity.
Move forward.」
「足を動かす」という認識はしてくれましたが、「歩く」までには至りません。

生成AIで画像サイズ横長に

画像が縦長のサイズだと、動かせる範囲を狭めているようなので、「Clipdrop」で横長のサイズに変えました。
画像の縦横比率を変更できる「Uncrop」を使用しています。

再度Runwayで「robot is walking」。
生成時間を4秒延長（Extend 4s）しました。

Motion Brush & x、y-axis

範囲を指定して動き・変化を付与するツール「Motion Brush」を使ってみます。
動く方向は下の操作メニュー「Vertical（y-axis）」で上方向に設定。
うまくいけば手を上げる動作ができるか・・・と思いましたが、そううまくはいきません。

「Motion Brush」&プロンプトの組み合わせを使えばもう少しなんとかなりそうな感触はあったのですが、生成できる動画の上限（無料枠）が近づいてきたので、深掘りはやめました。

全身を選択して、「Horizontal（x-axis）」で右方向に動かしてみます。

全体的には床の上を滑るようなモーションですが、「歩く」という動きを試みようとしてくれています。

Camera Motion & Pan,Tilt

カメラワークを指定する「Camera Motion」も試しました。
「Pan」（カメラを固定したまま左右に振る）、「Tilt」（上下に振る）を変更しました。

こちらは「Pan」と「IMAGE+DESCRIPTION」の組み合わせ。
プロンプトに
Turn your face to the left.
Walk right foot forward one step.
Maintain center of gravity.
という文章を入れたところ、「顔を動かす」のでなく「カメラ自体が動いて回り込む」という解釈に振れたようです。
意図とは異なりましたが、ダイナミックなカメラワーク。
ロボットの形ズレもあまり感じず、今回Runwayのすごさを最も感じた映像になりました。