【ローカルAI】ComfyUIで任意の動画ファイルのアップスケールとフレーム補間する話

はじめに

最近の動画アップスケールは、動画生成AIの技術を利用するものが増えてきましたが、筆者が知る限り、（家庭用PCスペックで利用可能な）ローカルAIモデルはまだ無いと思います。

この記事では、昔から利用されている一般的な手法である、画像フレームを一枚ずつアップスケールし、フレーム補間するやり方を、ComfyUIで行う方法を紹介します。

任意の動画ファイルを読み込み、ComfyUIで高画質化する手法です。

※ ワークフローは記事内にてすべて紹介していますが、記事で利用したjsonファイルを有料付録欄に添付しています。

※ 下記事で紹介している動画アップスケール・補間部だけを取り出して、一般の動画ファイルを読み込んで出力する形式にしたものです

※ ComfyUIの動画処理は、AIで生成したようなショート動画・数秒用に特化したもののため、映画並みの２時間などは（出来ないこともないですが）困難です。

流れ

動画ファイルの読み込み

VideoHelperSuiteカスタムノードを利用します。動画解像度（source_width等）取得する事が可能になります

静止画フレームごとにアップスケール

例では、krita-ai-diffusionでもデフォルトになっている、高速で高品質な4x_NMKD-Superscale-SP ESRGANモデルと、JPEGノイズを除去する1x_JPEGDestroyerV2を利用しています。拡大率が異なるため、それぞれ個別に適用した後に、オリジナル画像の２倍のサイズに統一して50％ブレンドします。

※ 画像リサイズには「was-node-suite-comfyui」カスタムノードを利用しています

アップスケーラ・モデルは下記サイトで入手できます。ComfyUIで利用する場合は、ダウンロードしたモデルを「models/upscale_models」に保存します。

4x_NMKD-Superscaleだけだとノイズを増幅する傾向があるので、デノイズ系のアップスケーラーと利用するのが良いと思います。

ただし、数秒でも数百枚処理することになるので、高品質なアップスケーラは処理時間的に難しいです。

※ その他アップスケールモデルに関しては下記事を参考ください

フレーム補間（フレーム生成）

Frame-Interpolationカスタムノードを利用します。例では、写実系に特化したFILM VFIを利用しています。

FILM VFI以外にも、アニメに特化したものなどの複数のモデルが利用可能です。

※ Frame-Interpolationカスタムノード・リポジトリはこちら

動画に出力

fpsを指定して出力します。例では、解像度、fpsが共に２倍にしたファイルが出力されます。

まとめ

ComfyUIで生成した動画に限らず、一般的な動画ファイルをComfyUIを利用してアップスケール＆フレーム補間する手法です。

将来的には、個別の静止画のアップスケールではなく、WAN Video等のオープンになっている動画生成技術を利用した動画アップスケールもローカルで可能になると思います。

静的なフレームごとの高画質化だけでなく、時間軸の情報もAIが利用できるため、アップスケーラとしてはかなり有利になるはずです。家庭用PCでは難しいのかもしれませんが。

付録

本記事で紹介したワークフローjsonファイルです。記事支援いただける場合はぜひよろしくお願いします。