メインコンテンツへスキップ
見出し画像

【AI漫画PV】Nano Banana Proで描いた漫画を、コードを書かずに動画化した話


    GPU一枚。六畳一間。それが俺の全部だ。


    前回、Nano Banana Proで漫画を描きました。

    今回は、その漫画を動かしてみました。

    コマの切り出し、BGM、動画化、合成——全部プログラムで処理しています。
    しかも、私はコードを1行も書いていません。

    Claude Codeに「漫画をPVにしたい」と伝えて、出来上がりを見て「ここ違う」「BGMが暗い」とダメ出しを繰り返しただけです。


    どうやって作ったか

    1. Claude Codeに「漫画をPVにしたい」と伝える

    やりたいことを日本語で伝えると、必要なスクリプトを全部書いてくれます。
    コマ分割のアルゴリズム、動画の演出ロジック、BGM生成の接続——全部対話だけ。

    2. 漫画のコマを自動で切り出す

    8ページの漫画をOpenCVに食わせると、コマの境界を自動検出して21個のコマに分割。

    画像
    漫画からコマを自動抽出

    3. 名場面を選んで演出をつける

    21コマから10シーンを選び、ズーム・パン・フェードなどの演出を割り当てます。
    インパクトのあるコマは、Wan2.2(動画生成モデル)で動画化。

    4. BGMを自動生成

    ACE-Stepという音楽生成モデルで、作品の雰囲気に合ったBGMを生成。
    「cinematic synth, tension building, piano」とタグを指定するだけ。

    5. 合成して完成

    ffmpegで1本の動画にまとめます。字幕はPythonで焼き込み。


    使ったもの

    • 漫画生成:Nano Banana Pro(Gemini API)

    • コマ分割:OpenCV

    • 動画化(I2V):ComfyUI + Wan2.2

    • BGM生成:ACE-Step 1.5 XL

    • 合成:ffmpeg + Pillow

    • 開発全体:Claude Code

    漫画生成はGemini APIですが、それ以外の動画生成・BGM生成は全部ローカルPCで完結しています。


    人間がやったこと

    • 「漫画をPVにしたい」とClaude Codeに伝えた

    • 出来上がった動画を見て「この字幕が違う」「BGMが暗すぎる」とフィードバックした

    • どのカットを使うか最終判断した

    コードは触っていません。
    「監督」みたいな仕事だけが残った感覚です。

    ただ、その「監督」の仕事が一番難しいのは間違いない。


    かかった時間

    パイプラインの構築(Claude Codeとの対話)は半日くらい。
    字幕の文字化け、BGMの雰囲気違い、カットと字幕のズレ——ダメ出し3回で完成しました。

    一度パイプラインができてしまえば、漫画の画像を入れてコマンドを叩くだけ。
    処理時間は十数分。あとは出てきた動画を見て、気になるところを直すだけです。


    小説版(全8話・完結済み)

    📖 Tales で全8話読めます

    📕 漫画版(第1話)

     
     
    家のPCと市販GPUで、しゃべるキャラ・動画制作・ローカル自動化を「動く完成形」まで持っていく実験記録。技術の正本はZennに。ここでは制作の裏側と、AIと作るSF小説・漫画を連載しています。

    あなたへのおすすめ