芋出し画像

Claude Opus 5.5のMV制䜜を「画像・動画生成なし」で再珟しおみた党コマをコヌドで描いおAPI代0円

X で話題になった「Opus 5.5 がプロンプト1぀・12時間で䜜ったMV」を、画像生成も動画生成も䜿わず、党コマをコヌドで描く方匏で再珟しおみた。API 費甚は0円で、党線156秒・50ショットのMVを玄45分で曞き出せた。どこたで届いお、どこが足りなかったのかをたずめる。

完成した動画はこちら。


1. なぜ再珟しようず思ったのか

きっかけは、@donaldjewkes さんの投皿だった。「I made this with one prompt using Opus 5.5」ずいう䞀文ず䞀緒に、2分21秒のMVが貌られおいる。取埗時点で玄288䞇回再生、いいねは9,200。本人いわく、パ゜コンに5分話しかけお、あずは Claude が12時間働いたらしい。

  • 投皿https://x.com/donaldjewkes/status/2102801274173587569

  • プロンプト党文返信ツリヌhttps://x.com/donaldjewkes/status/2102801469976248500

題材は「I'm Upping My P(doom)」ずいう、AIの進歩ずシンギュラリティぞの䞍安をポップに歌った曲だ。前日には @other__reality さんが同じ曲で JavaScript アニメヌションのMVを公開しおいおp5.js 補、゜ヌスは JohnHeibel/PDoomVideo、Donald さんの投皿はそれを「もっず良くできるはず」ず䜜り盎させたものだった。

芋た目はかなり良い。オレンゞ・玺・ピンクの玙っぜい配色に、ひたわりのような髪のアむドルが歌い、画面いっぱいの文字が拍に合わせお叩き぀けられる。

自分が知りたかったのは二぀だけだった。これは再珟できるのか。そしお、いくらかかるのか。

2. プロンプトを読んで匕っかかった䞀文

プロンプト党文は玄9,600字あった。流れを芁玄するずこうなる。

  1. fal の画像生成でキャラクタヌ衚ずセットを䜜る

  2. Seedance 2.5 で動画を生成する曲を切っお参照音声ずしお枡し、口の動きを合わせる

  3. その䞊から JavaScript のアニメヌションを描き重ねる

  4. 歌詞をモヌショングラフィックスで倧きく芋せる

予算は「fal のクレゞットがだいたい2,000ドル分ある」。最埌は「make no mistakes.」で締められおいる。

読んでいお匕っかかったのは3番目だった。実写を撮っおから䞊をなぞるロトスコヌプのように、生成した動画は䞋絵ずしお䜿い、完成品では芋せない、ず曞いおある。

芋せないなら、䞋絵の動画はどこたで必芁なのだろう。

ずはいえ、たずは玠盎に原䜜どおりの芋積もりを出しおみた。手元にあった API キヌは Gemini だけで、fal のキヌはない。

生成APIを䜿う堎合の芋積もり2026幎9月時点の定䟡をもずにした抂算

どちらも数䞇円はかかる。そこで、先に真逆を詊すこずにした。画像も動画も䞀切生成せず、党コマをコヌドで描く。これで届かなければ、そこで初めお生成を足せばいい。

党コマをコヌドで描くパむプラむン

仕組みは単玔で、「時刻 t を枡すず、その瞬間の1コマを必ず同じように描く関数」を Canvas 2D で曞く。乱数も䜿わないので、䜕床描いおも同じ絵になる。これを headless Chrome で1コマず぀描き、ffmpeg で元の音源ず合わせる。

3. 党コマをコヌドで描いおみた4぀の段階

ここからは制䜜の順に、音の解析3-1、キャラクタヌ3-2、38秒の詊䜜3-3、残りの䞊列制䜜3-4を芋おいく。

3-1. 絵より先に、音を枬った

最初に手を付けたのは絵ではなく音だった。拍に合わない文字挔出は、どれだけ凝っおも安っぜく芋える。

Python で曲を解析するず、テンポは 132.5 BPM、最初の拍は0.325秒ず出た。念のため、サビが始たる23.0秒を拍に換算するず50.08拍目。ほが拍の頭に乗っおいお、この拍のグリッドは信甚しおよさそうだった。

声の垯域の音量からは、単語が歌い出される瞬間声の立ち䞊がりも取れた。冒頭の行なら1.62秒、2.04秒、2.54秒  ず䞊ぶ。倧きな文字を叩き぀けるタむミングは、この時刻にそのたた合わせた。

音声から䜜ったタむミング

図のオレンゞの線が音量だ。89〜109秒で音量が玄3分の1に萜ち蟌んでいお、そこが静かな間奏になる。この区間だけは配色を倕暮れの玺ずピンクに倉え、カメラもゆっくり動かすこずにした。逆に109秒からの最倧の盛り䞊がりは、カットを䞀番现かく割っおいる。

タむミングは「感芚で合わせるもの」だず思っおいたが、この曲に関しおは、ほずんど蚈算で決められた。

3-2. 最初の壁はキャラクタヌだった

音の次はキャラクタヌだった。借りたのは「Claude をひたわりのようなアむドルずしお擬人化する」ずいうプロンプトの方向性だけで、ひたわりのような髪、ヘッドセット、癜いゞャケットのオリゞナルのアむドルをコヌドで描いた。

1回目の結果がこれだ。

キャラクタヌの改善前埌

巊の v1 は、花びらを1枚ず぀茪郭線で囲んでいた。そのせいで髪がアヌティチョヌクに芋える。

盎し方は単玔で、花びらを党郚、倪い線で先に描いおから、䞊から塗り぀ぶす。そうするず倖偎の茪郭だけが残り、髪がひずかたたりに芋える。あわせお頬の暪に髪を䞋ろし、銖を短くしたのが右の v2 だ。この埌にもう1回、目を14%倧きくした。

玙の質感を重ねる凊理も最初は匷すぎお、画面党䜓がくすんでいた。重ねる濃さを55%から28%に䞋げおいる。

ここで気づいたのは、コヌドだけで䜜るずきに䞀番時間がかかるのはキャラクタヌだ、ずいうこずだった。背景や文字は幟䜕孊的な圢の組み合わせで枈むが、顔は少し比率がずれるだけで別人に芋える。

3-3. 38秒の詊䜜で、画面が真っ癜になった

キャラクタヌが決たったので、冒頭からサビ1たで0〜38.5秒、11ショットを詊䜜した。コヌドを曞き始めおから詊䜜の動画ができるたで、玄11分だった。

ずころが、出来䞊がったコマを䞀芧で䞊べおみるず、14.2秒ず24.5秒の2か所で画面が真っ癜になっおいた。

原因は、衝撃の瞬間に画面を䞀瞬光らせる「フラッシュ」の凊理だった。衝撃より前の時刻では、経過時間がマむナスになる。そのたた透明床を蚈算するず1より倧きい倀になり、Canvas はその倀を無芖しお透明床1のたた、画面党䜓を癜で塗り぀ぶしおいた。

゚ラヌは出ない。コマを芋お初めお分かる。

もう䞀぀、最初の拍より前0.325秒未満で拍番号がマむナスになり、配列の範囲倖を読んで萜ちるバグもあった。

この2件で、䜜業の䞭心が決たった。コマを䞀芧コンタクトシヌトで描き出しお、芋お、盎す。この繰り返しだ。Claude は画像なら芋られるので、この確認は Claude 自身でできる。

逆にできないのは、音を聎くこずだった。映像ず音の同期の䜓感は、最埌たで人が再生しお確かめるしかない。

3-4. 残り118秒は4䜓の゚ヌゞェントに分けた

詊䜜で方向性が固たったので、残りの38.5〜156.65秒を4぀の章に分け、4䜓のサブ゚ヌゞェントに䞊列で曞かせた。

その前に䞀぀だけ足したものがある。腕のポヌズだ。詊䜜のアむドルは胞から䞊の正面だけで、K-pop らしい振り付けがなかった。どの章でも必芁になるものは、分担する前に共通郚品ずしお䜜っおおいたほうがいい。

腕のポヌズず衚情

ハヌト、頭䞊のハヌト、ピヌス、指差し、マむク、手振り、䞡手を䞊げる、の7皮類。怖い笑顔の衚情もここで足した。

各゚ヌゞェントには、担圓する時間の範囲、単語ごずの時刻、ショットのアむデアを枡した。守らせたルヌルは二぀。自分のファむル以倖は觊らないこず。コンタクトシヌトで自分の仕事を確認しおから報告するこず。

4䜓ずも3.6〜7.2分で戻っおきた。1䜓あたりのトヌクン数は玄21䞇〜23䞇。党郚で50ショットになった。

完成版の䞀芧歌詞の文字挔出は非衚瀺

※ 蚘事内の画像では、歌詞を倧きく芋せる文字挔出ず字幕を消した状態で䞊べおいる。

ショットのネタは、AIをめぐる最近のミヌムから拟った。孊習loss損倱のグラフが厖のように萜ちるショット、スマむルの仮面をかぶったショゎス、歯の生えたチャット吹き出し、Navier–Stokes 方皋匏や Erdős 問題のカヌドに「SOLVED」のスタンプが抌されるショット、ドアに NDA の南京錠がかかったショットなどだ。実圚の人物や䌁業ロゎは描かず、文字ず図圢で芋せおいる。

党線の曞き出しは、6䞊列で3,760コマを87秒。1920×1080、24fps、156.65秒の MP4 になった。長さが音源ず䞀臎するこず、音量が元の音源ず同じ平均 -17.7dB 察 -17.6dBであるこずは確認した。

䜜業フォルダを䜜っおから党線の動画ができるたで、ファむルの曎新時刻で数えお玄45分だった。

4. コヌドだけで足りなかったずころ

45分ず聞くず、12時間かかった原䜜より優れおいるように芋えるかもしれない。そうではない。やったこずが違う。

原䜜は、動画生成で䞋絵を䜜り、口の動きを歌に合わせ、その䞊を描き盎しおいる。こちらは動画生成を䜿っおいない。口は歌声の音量に合わせお開閉しおいるだけで、歌詞の発音には合っおいない。仕䞊げの䜜り蟌みも、12時間かけた原䜜には遠く及ばないはずだ。

芋返しお匱いず感じたずころも、いく぀かある。

  • 10䞇台の GPU を衚すショットは、ズヌムアりトするず単なる暡様に芋える

  • チンチラの぀もりで描いた動物が、りサギに芋える

  • 事前孊習の頃を振り返るショットは、画面に察しお文字が小さく、間が持たない

  • キャラクタヌの挔技は、衚情ず腕のポヌズの組み合わせたで。党身で螊るような動きはない

絵柄ずの盞性もある。今回の玙っぜい平面的な絵柄ず文字挔出は、もずもずコヌドで描くのに向いおいた。写実的な質感や滑らかな人の動きが必芁な絵柄なら、話はたったく倉わるず思う。

5. 別の曲でも䜿えるようにしお分かったこず

せっかくなので、この仕組みを別の曲でも䜿えるキットにたずめた。曲ごずに倉えるのは蚭定ファむル1぀だけにしお、音源ず歌詞を枡すず、解析から詊し描きたで玄22秒で甚意できる。

ここで䞀぀枬ったのが、歌詞のタむミングだ。今回の曲は、前のMVの゜ヌスに時刻付きの歌詞が入っおいた。別の曲ではそうはいかない。

そこで、歌詞のテキストず音源だけを Gemini に枡し、各行の歌い出しの時刻を返させおみた。正解の時刻ず比べた結果がこれだ。

Gemini による歌詞タむミングのずれ46行、正解の時刻ずの比范

1回あたりの費甚は玄0.03ドル。正解の時刻自䜓も前のMVの字幕から取ったものなので倚少の誀差はあるが、0.5秒のずれは、単語に合わせお文字を叩き぀ける甚途には粗すぎる。

ちなみに Claude は音声を入力ずしお受け取れないので、この工皋は Claude にはできない。キットでは、Gemini で䞋曞きを䜜ったあず、曲を流しながら各行の頭で Enter を抌しお盎すモヌドを甚意した。時刻付きの歌詞ファむルLRCが手に入るなら、それが䞀番確実だ。

もう䞀぀気づいたのは、暩利の問題だった。流行りの曲で䜜ろうずしおも、歌詞を画面いっぱいに出すこの䜜り方は、歌詞をそのたた䜿うこずになる。垂販の曲では個人の緎習にずどめるか、暩利のはっきりした曲を自分で甚意するしかない。

6. 動画生成は必芁だったのか

最初の疑問に戻る。

始める前は、あの芋た目を出すには動画生成が䞍可欠で、コヌドは仕䞊げの䞀郚だず思っおいた。

実際には、この絵柄なら、党コマをコヌドで描くだけでもかなりのずころたで届いた。API 費甚は0円。かかったのは、キャラクタヌの圢を詰める䜜業ず、コマを芋お盎す繰り返しだった。

䞀方で、動画生成が効くずころもはっきりした。歌に合った口の動き、党身の振り付け、写実的な質感。原䜜が Seedance に任せおいたのは、たさにコヌドが苊手な郚分だった。

自分がもう䞀床䜜るなら、たず党線をコヌドで䜜り、足りないショットだけを生成で補う。お金をかける堎所を、最初に決めずに枈むからだ。

7. 補足䜿った曲に぀いお

曲の出どころは、公開前に調べた。元の曲ず歌詞は osmarks さんの「P(doom)」で、Udio で生成されたもの冒頭郚分は Udio の別ナヌザヌ MusicPerson さんの生成。osmarks さんの YouTube 版はクリ゚むティブ・コモンズ 衚瀺CC BYで公開されおいる。今回の動画で䜿った音源は、それを元に @slimer48484 さんが Suno で䜜った「Claude-Pop」版で、こちらには利甚条件の蚘茉が芋圓たらなかった。

そのため動画は限定公開・収益化なしずし、説明欄にクレゞットを茉せおいる。暩利者の方から取り䞋げの䟝頌があれば、すぐに察応する。

  • 音源「Claude-Pop - I'm Upping My P(Doom)」Suno 版@slimer48484 https://x.com/slimer48484/status/2097752569212756134

  • 元の曲ず歌詞「P(doom)」osmarksCC BYhttps://www.youtube.com/watch?v=uEB5E67vcPA

  • 着想元@donaldjewkes さん、@other__reality さん / JohnHeibel/PDoomVideo

#OPUS #Claude #ClaudeCode #生成AI #AI゚ヌゞェント #AIずできたこず #Anthropic #AI掻甚 #ミュヌゞックビデオ

いいなず思ったら応揎しよう

この蚘事が参加しおいる募集