全自動 地声吹き替えツール(VOICEVOX実況化) Update ノイズ除去機能追加

こんにちはRcatです。
今回は以下の記事で作成しましたツールのアップデート情報です。
タイトルの通り、ノイズ除去機能を追加しました。
具体的な仕組みとどんなことができるのか紹介します。

初回はこちら。
ツールの配布も行っております。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

https://note.com/rcat999/n/nb6a601a36ef5

コメントについて

利用規約のガイドラインを確認の上コメントしてください

音声データのノイズ除去を行う

事前に収録した動画から音声を切り離して文字起こしをするのですが、収録した音声は完全に声だけというわけにはいきませんよね。
余計な音が入っている場合、文字起こしの精度の低下に繋がるため、あらかじめ除去しておきたいところです。
調べてみると、すでに内部で使用しているFFMPEGでノイズ除去ができるということなので、それを組み込んでみることにしました。

簡単なafftdnフィルター

特に何も設定しない場合は、こちらを使ってホワイトノイズの除去を行います。
ホワイトノイズの除去なので、ゲームの音やキーボード音などは除去できていないのですが、これを使うだけでも音声認識の精度がかなり上がりました。自分で聞く分には全然変化がないんですが、機械にとってはそうでもないみたいです。

ffmpeg -i input.wav -af "afftdn=nr=12" output.wav

高性能なarnndnフィルター

こちらはニューラルネットワークを使用したフィルターとのことです。つまりAIと同じですね。もちろんAIと同じなのでモデルが必要です。
以下からダウンロードすることができます。

https://github.com/GregorR/rnnoise-models

ダウンロードすると5個のデータが入っています。
リンク先にそれぞれの使い方が書いてあり、目的に応じて使い分けるみたいです。
今回は事前収録の実況なので"Recording"の"Speech"に該当すると考えられます。なので、使うモデルは"somnolent-hogwash"の中のものを使うことにしました。

ffmpeg -i tmp.wav -af "arnndn=model=sh.rnnn" export.wav
rem この例ではモデルファイルを取り出して、上にディレクトリに置いてある

実行結果はこちら
ゲームの音やカチカチ音などがほぼ除去され、かなり綺麗にノイズが除去できています。
波形情報で見てみたのが以下。
波形ではバックグラウンドのノイズが消えているかどうかは分かりませんが、無音区間においてはほとんど音がなくなっているということがわかるでしょう。
ただし削りすぎるのか、一部ナレーションが消えている部分や文字起こしの時に逆に悪化する個所もありました。

サンプル動画

ここからはそれぞれのフィルターを使って処理した場合、吹き替えがどの程度を変化するのか、実際にお見せします。

まずはこちらが事前の処理が何もない、ただ収録した状態の動画を児童吹き替えした動画です。
いきなり名前が間違っていたり、トロッコ上下って何だよという感じです。

次にafftdnフィルターを使ってノイズ除去を行った動画です。
今回の分は完全に理想的な文字起こしがされています。
逆にRcatを英語で起こしてしまったので、ボイスボックスがアルファベットで読んでしまっているのが逆に残念。
まあ、その辺はおいおい辞書を追加したり、テキスト生成AIを噛ませるなりして直していくつもりです。

最後にarnndnフィルターを使ってノイズ除去をした動画です。
ちょっと除去されすぎて意味がわからなくなってしまっています。やりすぎですね。
トラックやら、いきなりできます、ワインクラフトって何？
こちらのフィルターとは相性が悪そうです。

設定の方法

メインの記事にもすでに反映していますが、今回のノイズ除去に関する項目は以下になります。

最初にノイズ除去を使うかどうかの設定。
その次が2つのうち、どちらのフィルターを使うのかの設定。
後はそれぞれのフィルターで細かい設定ができます。
afftdnの場合はホワイトノイズ以外にも種類があるので、そのうちのどれかを選択、また除去の強度を設定できます。
arnndnの場合はどのモデルファイルを使うのかの選択を行います。

詳しくはメインの記事の方をご確認ください。

まとめ

今回は全自動動画吹き替えツールにノイズ除去の機能を追加してみました。
文字起こしAIに対して渡す音声は、私たちが聞いても差がほとんどないようなものでも、かなり差が出てくることが分かりました。
この情報は他のツールでも使えそうですね。
それではまたお会いしましょう。