【配布】地声をずんだもんに全自動吹き替え! ～AIの力でVOICEVOX実況を自動作成 Ver2～

こんにちはRcatです。
今回は下記の記事で紹介しているツールのVer2となります。
多くの機能が追加実装され、使い勝手が飛躍的に向上しました。

初めての方向けに簡単に説明すると、地声で実況しながら撮った画面録画や、声を吹き込みながら撮ったスマートフォンの動画などを、全自動で ずんだもん をはじめとしたVOICEVOXキャラクターに吹き替えてしまうツールを作成しました。
これによりいちいち手打ちで音入れしていた動画を口頭で入力できるようになります。
ちなみに英語の動画を全自動で翻訳しながら吹き替えることもできます。
ちょっとでも気になった方は是非最後までお読みください。

実際に使ってみた動画はこちら(Ver2.3)。
数カ所の字幕を直しただけで後は全自動です。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください

概要

概要

最初にも紹介していますが、本記事は前作のバージョン2となります。
前作では操作するためにインターフェースがありませんでしたが、今回操作用の画面を設けることで使いやすさを向上させました。
また、Ver1で今後搭載予定としていた機能や複数の新機能、便利ツールを加えてアップデートしました。

VOICEVOX(ボイスボックス)とは

VOICEVOXは、無料のテキスト読み上げソフトです。公式では中品質と言っていますが、気にならないくらい優秀です。
また、大きな特徴として一つのソフトの中に複数のキャラクターが入っており、この記事を書いた時点では30キャラクターが同梱されています。
以下の公式ホームページから取得することができます。
なお、こちらはダウンロードした後起動しておくだけでOK。直接操作することはありません。
ツールの方からAPIにアクセスして操作するので、今回のような用途にも使える非常に優秀なソフトです。

機能

本ツールは次のことができます。
以降"実況動画"と表現する動画は、喋りながら録画した動画や画面録画を指すこととします。
"読み上げ実況"とは、読み上げソフトを使用してテキストを読み上げた機械音声データを使用した動画を指します。

実況動画の完全自動読み上げ吹き替え

実況動画をワンクリックで読み上げ実況に吹き替えます。

全自動字幕挿入

読み上げに使うための文字起こしを利用して字幕を全自動で挿入できます。
文字起こしデータはCSVテキストとして入手できるので、文字起こしツールとして使うこともできます。
実行方法により以下のようなパターンがあります。

• 吹き替え+字幕
  全ステップを手順通りに実行する。動画化で字幕ありを選ぶ。

• 吹き替えのみ
  全ステップを手順通りに実行する。動画化で字幕なしを選ぶ。

• 元の音声+字幕
  文字起こしと必要に応じて校正を行い動画化する。

• 字幕テキスト
  文字起こしと必要に応じて校正を行い、CSVをダウンロードする

全自動英語翻訳吹き替え

英語のナレーションが入った動画を、日本語の読み上げ音声に吹き替えかつ日本語の字幕を入れます。
ツール実行の方法により出力には以下のパターンがあります。

• 日本語音声+日本語字幕
  全ステップを手順通りに実行する
  https://youtu.be/s5Ym73Nu-WY

• 英語音声+英語字幕
  文字起こしだけを行い動画化する
  https://youtu.be/h4xqY6agYWg

• 英語音声+日本語字幕
  文字起こしとAI校正を行い動画化する
  https://youtu.be/4d-fcagD1SI

音声だけ吹き替え

動画でなくとも地声の録音データを読み上げ音声にすることもできます。

音声を動画化

音声ファイルを選択した状態で動画化まで進めると、黒い背景に字幕だけ入った動画を作成可能。
YouTubeをラジオチャンネル化するなど。
https://youtu.be/RjXS2-JJpjA

動画のカットと結合

動画編集ソフトレスを目指しているので簡単な編集機能やオリジナル機能を搭載しています。

• 動画結合
  複数の動画を結合する機能を搭載しています。
  分割収録等に便利です。

• 動画カット

  • 動画カッター
    ひとつの動画から秒数指定で切り出します。
    ミスでカットした箇所をトリムするのに便利です。

  • 無音区間自動スキップ
    閾値を指定してそれ以上黙っている区間を自動でトリムします。
    後でカットする手間が省けるほか、落ち着いて実況できます。

メリットは? 使い道は?

本ツールを使うことで、事前に収録済みの動画データを、最近人気のずんだもんをはじめとしたVOICEVOX実況に全自動で変換することができます。
また、にじボイスという読み上げサービスにも対応しており現時点で計100キャラクター以上の吹き替えが可能です。

メリット

• 安定したナレーション
  プロなら安定して聞き取りやすいナレーションを地声で入れられますが、素人はどうでしょうか?少なくとも私は無理です。政治家みたいに変なテンポになってしまします。
  しかし、吹き替えなら一定速で読み上げるので非常に聞き取りやすくなります。

• 文字入力からの解放
  読み上げ実況をしたり、字幕を入れる時は今まで手入力していました。
  しかし、今は文字起こしができる時代です。口頭でのナレーションをするだけで全自動で読み上げ化と字幕入れが可能です。

• 動画編集とおさらば
  動画編集の内容が結合とカットだけの場合、本ツールで完結します。
  動画の部分カットや分割収録の結合機能を搭載しています。
  また、無音区間自動スキップ機能により、あえて黙ることでその区間を自動でカットすることができます。

使い道

• 画面録画解説
  パソコンの画面を録画して操作説明を行うような動画。
  地声を公開していいならそのままでもいいかもしれませんが、嫌な人はあらかじめボイスチェンジャーを使うかを音声を消して吹き替えないといけないですよね。
  本ツールは、後者の音声を消して吹き替えの部分を全自動で行います。

• ゲーム実況
  ゲームのウィンドウを録画しながら実況する動画。
  これも画面録画と同じで地声を出したくないという人は、このツールを使って吹き替えてしまいましょう。

• スマートフォンやビデオカメラなどで撮影した動画
  手だけだったら出てきてもオッケーと言った解説動画やものだけ映して、背後から喋って説明するような動画。
  これらも音声の部分を全自動で吹き替えることができます。

• 音声だけの吹き替え
  特にゲーム実況なんかは音声は別で録音していることもあるかと思います。そういった場合は音声だけを吹き替えることもできます。

• 英語の動画から情報を得る
  本ツールには英語からの自動翻訳機能があります。
  有益なコンテンツや英語の情報に頼らなければならない場合、その内容を自分で翻訳するのは大変ですよね。
  本ツールを使って英語の部分を日本語に翻訳して、吹き替えと日本語のテロップをつけて情報として活用できるようにしましょう。
  ※私的利用にとどめる等、著作権に注意してください。

• スピーチをYouTubeなどにUPする
  音声ファイルだけを使った場合、真っ黒な背景に字幕だけ入った動画を作成可能です。
  聞き流し用とか、ラジオ的な感じで使えるのかな?

• 文字起こしツールとして使う
  本ツール最初のステップは動画/音声からの文字起こしです。この部分だけを使って文字起こしと自動校正を活用することもできます。
  文字起こし結果はCSVファイルなので編集も簡単です。

紹介&導入&機能

概要

まず、最初に操作画面をご覧いただきましょう。
操作画面は柔軟な作成が可能なブラウザを利用しています。つまり、本ツールはサーバーになっています。ですので、パソコンで立ち上げておけば、スマホからアクセスして吹き替えるといったことも可能です。

ステップごとに分かれていて、設定画面はかなり縦長です。
各ステップが囲まれていて、どこで何をしなければならないのか、パッと見わかりやすくなっています。

起動方法と構成

本作はPythonを使っていますので、まずはPythonを導入してください。

ツールのデータ構成は以下のようになっています。
メインのプログラムに補助の2つのモジュールおよび画面表示用のHTMLで構成されています。
起動するにはstart.batという名前の歯車マークダブルクリックしてください。
こちらをダブルクリックすることで、導入の記事で紹介しているように自動的に環境構築が行われツールが実行されます。
なお、それ以前にいくつかの周辺ツールの準備が必要ですので、Ver1の記事の事前準備を参考に進めておいてください。

設定ファイルの編集

初回は設定ファイルが無いので立ち上がった後ツールは稼働せずに終了します。
フォルダにconfig.jsonが出来ていると思いますのでこれを編集します。

中身はこんな感じです。
動作環境の方でも説明していますが、外部ツールのトークンなどが必要なのであらかじめ用意してください。なお、すべてが必須というわけではないので詳しくは下記をご覧ください。

• diarization_token
  話者分析ライブラリの認証トークン。
  バージョン1の記事で取得方法を紹介しています。

• nizivoice
  AIを使った音声生成サービスを利用する場合の設定。
  使わない場合は設定しなくてOK

  • apikey
    にじボイスAPIのAPIキーを入力してください。

• fonts
  フォント一覧の設定。
  名前とフォントの場所を辞書で設定する。
  フォントの探し方は下記動画で解説しています
  https://youtu.be/tq0X_SDgz-U

• llm
  AIの設定。AIによる自動校正使わない人は無視してよい。

  • apiky
    Difyのapiキー

  • server
    DifyのAPIサーバー
    オンラインは"https"でローカルは"http"です。

    • オンラインの場合:
      https://api.dify.ai

    • ローカルの場合(例):
      http://192.168.0.4

  • limit
    一回のリクエストで投げる文字数の制限。
    主に出力文字数で切れるのを防ぐ目的。

  • userdictionary
    AIに与えるユーザー辞書。固有名詞等を登録する。

起動と利用

正常に環境構築が行えた場合、start.batをダブルクリックすると黒い画面にこのような文字が表示され起動します。

ツールが起動したら10秒後に自動でブラウザが開きます。
二次元バーコードを読み取ればスマホからも簡単にアクセスできます(自宅のWi-Fi接続限定)

諸注意

このツールで使用するデータの名前は半角英数字のみを使用してください。
日本語やスペース特殊記号等は誤動作やエラーの原因となります。
分からなければ、トップの動画でやっているように名前を001とかに変えてください。

ワークフォルダ

クライアントが接続すると専用のワークフォルダが"work"フォルダ内に作られます

中を確認すると作業中のデータが確認できます。
画面からダウンロードも可能ですが、直接ここから持って行ったり書き換えてもOKです。

全体設定

ここはツールを動作に関する設定を行います。
ちなみにこれより下の設定を次に使う時も保持できるように設定の保存ボタンがあります。
設定を保存しておくと、次回アクセス時自動的に読み込まれます。当たり前ですが、キャッシュを削除するとなくなってしまうのでご注意ください。

ツールの動作モード
地声吹き替えモードか英語吹き替えモードを選べます。
英語吹き替えモードでは文字起こしを英語で行い、生成AIを使って翻訳して日本語に吹き替えるという動作に変更されます。

サウンド
各ステップの処理が完了した時にピロ♪と音を鳴らします。
他に何かやりながら処理している場合、終わったことが分かりやすくするためです。

便利ツール 動画結合

名前の通りアップロードした動画を繋げるツールです。主に分割して収録した後、このツールで処理する前に繋げるのに使います。

2つ以上の動画を選択し、アップロードするとリストが表示されます。
リストの中でチェックを入れて、上下ボタンを押すことでつなげる順番を指定できます。
結合実行ボタンを押すと動画が繋がります。
動画の解像度は先頭の動画に合わされます。再エンコードがかかるため、処理には少々時間がかかります。画面の範囲録画で、数ピクセルずれてるくらいでしたらそのままつなげられちゃいます。
なお、ここで繋げた動画は次のステップに自動的にセットされます。

便利ツール 動画カッター

こちらも名前の通り動画をカットするツールです

編集したい動画をアップロードして、開始と終了位置を秒(0.1単位)で入力するとカットして抽出できます。簡単な作業ですが、この程度に動画編集ソフトを使わなくていいのは大きいと思います。
最初の一部だけカットしたい場合は終わりの秒数を動画の長さ以上に設定すればOKです。9999とか…。
カット後は自動でStep1に関連付けされますのでそのまま文字起こしに進めます。

本ツールにおける"アップロード"の扱い

※本項はPCの理解が無いと難しいので、分からない場合は読み飛ばしてもOK

本ツールはWEBサーバーを活用していますが、インターネットへの公開目的ではなくローカルで使う前提です（できなくはない）。
そのため、ローカルの特定のフォルダにデータを入れておけば、アップロード前にファイル名で検索し、一致した場合はそれを使うように動作します。サイズの大きい動画データをいちいちローカル内でアップロードして複製なんて無駄でしかないですからね。

使い方は簡単
ツールと同じ階層に"data"というフォルダを作りそこに使用する素材を入れるだけ。
または各セッションで作成されるワークフォルダの中でもOK。

そしてそのフォルダの中からアップロードしようとすると以下のようなメッセージが出ます。
この場合はdataフォルダの中のファイルが選択された状態になります。

注意
ワークフォルダも検索対象の為、例えば文字起こしレポートをダウンロードして編集後、再度アップロードするときに名前を変えないと変更内容がアップロードされず適用されません。こういう場合は意図的に名前を変えるなどしてローカル検知から逃れてください。

吹き替えの手順&機能

ここからはツールの実行をしていきます。
各ステップごとに実行することもできますし、連続で進めていくこともできます。
全ステップ自動実行に関しては一番最後で説明します。

Step1 音声分析と文字起こし

Step1では動画から音声を切り離し、ノイズ除去をした後に分析し、文字起こしまでの一連の動作を行います。
音声ファイルを使用して文字起こしツールとして使うことも可能です。
音声ファイルの場合このまま先に進むと字幕だけ動画を作れます。

• データを選択
  変換したい動画ファイルまたは吹き替えたい音声ファイルをアップロードします。
  動画はMP4(Win11画面録画/Andoroid14 動画撮影)、音声はm4a(Andoroid 14標準サウンドレコーダー)で動作を確認しています。
  便利ツールで動画を結合/カットした場合は、すでに選択された状態になっていますので、アップロードしなくても大丈夫です。

• 区間認識設定
  音声を分析し、誰がいつ喋っているか検出します。
  吹き替え時の速度調整や無音区間認識に使います。

  • 人数
    あらかじめ何人の人が喋っているのか分かっている場合、入力するとパフォーマンスが向上します。分からない場合は0を入力。

• ノイズ除去の設定
  音声のホワイトノイズを除去する設定です。使わない場合は無効にしてください（人間には分からない程度でも精度に影響あり）。

  • 除去モード
    2種類ありますが、現状はafftdnのみ対応しています。
    その他細かい設定はバージョン1と同じですので、そちらをご参照ください。
    https://note.com/rcat999/n/n83bdd0d151ff

• 文字起こし
  音声の文字起こしに関する設定です。
  GPUを積んでいない(あるいはGPUって何?)という方はGOOGLEを選択してオンラインサービスで文字起こしを行うことをお勧めします。
  VRAM6GB以上のGPUがある場合はwhisperを使用して自分のPCで文字起こしをすることもできます。この場合はmedium以上のモデルを選択しないと精度が出ません。このツールを作った後、turboというモデルが公開されており、mediumと同じ要求でパフォーマンスがいいようなのでturboをおすすめします。
  2Gのsmallでも割と使えるという報告もあるので、実際に試しながら選んでみることをお勧めします。

ステップを実行

このステップを実行すると、動画の場合は音声を分離した無音の動画と音声だけのファイル、文字起こしレポートが生成されます。
また、文字起こしレポートは自動的にダウンロードされます。
文字起こしの内容に間違いがあったり、修正したい場合はこのファイルを編集することで直すことができます。
生成されるデータについては直接フォルダにアクセスしてデータをコピーしてもオッケーです。

文字起こしレポートはこのような形になっています。
漢字が間違っていますね。この辺は修正の必要がありそうです。

英語吹き替えモードではこんな感じ。まずは英語で文字起こしが行われます。

Ver2.3からは自動ダウンロード時にCSVに変換されるようになりました。
Excelで開くことができ編集が簡単です。

Step2 生成AIによる文章校正

次のステップは文字起こしの校正です。上では漢字が間違っていますが、この機能を使うことで、AIに自動で修正してもらえる可能性がありますが、難しいのでスキップすることもできます。
ちなみにレポートをアップロードするところがありますが、ステップ1をやったら自動的に関連付けがされているので何もしなくて大丈夫です。そのままボタンを押すだけです。
設定についてですが、最後に紹介する連続実行モードの時にここをスキップするかどうかを選択するだけなので、ステップ実行時は必ず有効にしておいてください。

英語吹き替えモードの場合、この手順は必須になります。
英語音声+英語字幕の動画を作りたい場合はスキップして動画化してください。

ステップの実行

実行後、またレポートがダウンロードされます。内容を確認すると以下のようになっていました。
テキスト2というのが、校正後の文章できちんと訂正されていることが分かります。またVOICEVOXが、漢字を正しく読んでくるかはまた別問題なので、生成AIにひらがなに直してもらっています。

英語吹き替えモードはこんな感じ。日本語にきちんと翻訳してくれていますね。

Step3 読み上げ

いよいよ読み上げです。
データの選択についてですが、レポートを手動で修正した場合は、ここで修正後のレポートを名前を変えてからアップロードしてください。AIがちゃんとやってくれたからいいよっていう人は何もしなくて大丈夫です。

元の音声+字幕をしたい場合はスキップしてください。なお、スキップ時は無音区間の設定を0にしてください。でないと落ちます。

にじボイスを選択した場合

• 読み上げ設定

  • 使用ツール
    VOICEVOXか、にじボイスから選ぶことができます。

    • キャラクターID
      それぞれのサービスでどのキャラクターに喋らせるのかをIDで決めます。また、カンマ区切りで複数入力することで、分析で別の人が話していると認識された場合、別のキャラで読み上げを行います。
      キャラクターIDについてはIDチェッカーのリストを参照してください。画像だと3番がずんだもんであると書いてありますね。
      ※VOICEVOXが起動している必要があります。
      ※にじボイスの場合はAPIキーが設定されている必要があります。

  • ルビの使用
    文章生成AIを使って文章校正をした場合、自動的にふりがなが作成されます。このふりがなはひらがななので、文字数でコストが決まるにじボイスとは相性が良くないです。そのため、必要ない場合はオフにできる機能です。

• 無音区間スキップ
  誰も発言していない区間がある場合、その区間を自動的にスキップする機能です。
  つまりとっさに言うことを忘れてしまったら、この閾値以上黙っていれば自動でカットされるので、ゆっくり考えながら実況するといったこともできちゃいます。

  • 閾値
    何秒以上黙っているとスキップされるかを決めます。
    これは音声ファイルで無音区間を検出するわけではなく、話者分析検出しています。そのため、大きなノイズが入っていたとしてもスピーチとして認識されていなければカットされます。

  • 無音残し
    無音部分をバッサリカットしてしまうと逆に話すテンポが早くなったかのように感じてしまいます。そうならないように指定の秒数以上は無言区間を残します。

ステップの実行

このステップを実行すると、話者分析で分析した区間に合わせて話速を調整しながら読み上げが行われます。
読み上げられた後、無音区間を設定している場合は、自動的にカットされた状態で音声全体が完成します。

英語翻訳モードでは、翻訳された日本語を使って読み上げが行われます。

この時点で音声ファイルだけをダウンロードすることもできます。
最初に動画ではなく音声をアップロードした場合はここで作業は終了です。

ちなみにこの時の作業フォルダはこのようになります。
数字だけのファイルは各区間ごとの読み上げデータです。
dubというのが全てをマージしたデータになります。

Step4 動画化

最後に仕上げの動画化です。
テロップ設定だけして、実行するだけの簡単なお仕事です。
最初に音声ファイルを選択していた場合は、動画データが内部的に空の状態なので、真っ黒背景に字幕だけ動画を生成できます。

• データの選択
  データは上から順番に実行していれば勝手に関連付けられます。
  基本的には自分で入力する必要はありません。

  • 動画データ
    無音の動画を選択します。
    一番最初に動画を入力していれば自動的に関連付けられています。
    関連付けが無い場合かつ字幕作成有りだと字幕だけ動画ができます。

  • 吹き替え用音声データ
    吹き替えに使う音声データ選択します。
    読み上げのステップを実行していれば自動的に関連付けられます。

  • 文字起こしレポート
    テロップを入力する場合に必要です。
    文字起こし、または文章校正を実行していれば自動的に関連付けられます。

  • スキップファイルレポート
    読み上げ時に無音区間スキップを使っていた場合、自動的に関連付けられます。

• テロップ設定
  せっかく文字起こしをしたので、それを使って字幕をつけるための機能です。

  • テロップ入り動画を作成
    動画の下側に字幕をつけるかどうか選択します。

    • フォントサイズ
      動画ファイルの縦方向に対して、何%の高さのフォントサイズにするかを設定します。フルHDの場合は4-5%程度がおすすめ。

    • フォント
      最初の設定ファイルの中で設定したフォントが表示されます。使いたいフォントをここで選んでください。

    • フォント色/外枠の色
      光の三原色で色を設定します。

• エンコード設定
  動画を再エンコードするかどうか選択します。特に問題が無ければ"しない"推奨。

  • しない
    元の切り離した無音動画またはOpenCVで作成したテロップ動画をそのまま使って音声とマージします。ほぼ一瞬で終わります。
    ただし、テロップ入り動画はOpenCVの都合上互換性の問題が出ることがあるので、再生できない場合は次のH264を選んでください。

  • H264
    幅広くサポートされているmp4のフォーマットです。しない設定でうまく再生できない場合はこちらを選んでください。
    ただし動画を再エンコードするので、高負荷の状態で時間がかかります。

ステップの実行

実行ボタンを押すと、動画の作成が始まります。
テロップ無しの場合はすぐ終わりますが、テロップモードをオンにした場合は各フレームにテロップ印字処理をするので時間がかかります。

完了すると動画をダウンロードすることができます。
また、プレビューウィンドウで確認もできます。
※OpenCVがH264エクスポートに成功した場合は表示できます。環境によっては再エンコードしないと表示されないこともあります。

最終的な作業フォルダは以下のようになります。
telop.mp4は字幕だけが入った無音の動画です。dub.mp4が最終的な吹き替え動画になります。
ダウンロードボタンを押さずにここでコピーしてもいいです。

(Step4-B) テロップ挿入だけ使う例

本作は音声吹き替えとテロップを自動で挿入しますが、テロップ挿入機能だけを使い、音声がそのままということもできます。

手順としては、文字起こしと必要な場合は校正を行い、Step3の読み上げをせずにStep4の動画化を実行するだけです。
注意として、無音区間の設定があるとエラーになるので必ず0にしてから実行してください。

全ステップ自動実行

ツールの一番最後に全てのステップを自動的に進めていく機能があります。
これを使うことで、動画の入力から出力までをワンクリックで行うことができます。
また、手直しポイントとして読み上げ前の一時停止機能があります。

まず、最初に全ての設定を完全に行ってください。
次に実行するステップを選んでください。
例えば音声ファイルだけ欲しいという人はステップ3までを選べばそこで止まります。

設定が完了したらボタンを押すことで一連の動作が開始されます。放置すれば完成しています。
なお、ブラウザの方でステップの実行を行っているため、通信が切れてしまうと正常に動作しません。パソコンで実行することをおすすめします。

一時停止を有効にした場合、文字起こしまたは文章校正が終わると処理を中断し、ボタンが再開ボタンに変化します。
ダウンロードされたレポートを確認して、文字起こしや校正に問題が無いか確認後、修正する場合はStep3の所にレポートをアップロードしてください。
再開ボタンを押すと処理が再開します

使い終わったら

ツールの右上にある終了するボタンを押すと、作業フォルダに作成されたデータを消すことができます。
パソコンの作業をしていた場合は別にいいですが、スマホからなどだった場合、読み上げの一時ファイルや無音の動画などが残ってしまうので、このボタンを押して終了することを推奨します。

全てのデータが削除されました。

似たツールの紹介

ちょっと休憩して似たツールを紹介します。
本作は画面録画などをそのまま読み上げ実況化できますが、事前に資料を用意して完ぺきな動画を作りたい!という方にはこんなツールがあります。
その名もパワーポイント実況作成ツール。
こちらはその名の通りパワポを使ってスライドを作成後、そのスライドにアニメーションを付けることで字幕と実況音声を入れるツールです。
読み上げるテキストを入力すれば後は自動で音声の生成やアニメーションの付与が行えます。
こっちがいいという方はぜひ一度ご確認ください。

動作環境/依存ツールの準備

動作環境

Windows11 で動作確認済み
動画全自動吹き替え及びm4a録音ファイルの吹き替えを確認済み

PCの性能について

もっとも重い処理が文字起こしです。
文字起こしはインターネットサービスを使うか、自分のPCで自力で起こすかの二択があり、Googleのサービスを使う場合はあまり気にしなくてOK。
ローカルでwhisperを使う場合は、VRAM6GB以上のGPU推奨(RcatはRTX2060 6GB)。メモリ32G積んでいればCPUでも可能ですが異常に時間かかります。

依存ツールの準備

依存ツールとは、本ツールが間接的に使用するソフトウェアの事です。これらが使用可能でない場合は一部または全部の機能が利用できません。
詳しい導入はVer1で解説しているので参照してください。

• VOICEVOX
  読み上げソフトです。ないと読み上げできません。
  公式サイトからダウンロードして起動するだけでOK。

• FFMPEG
  動画変換ツールです。ないとツールが動きません。
  ダウンロード後、よくわからなければツールと同じフォルダに実行ファイルをコピペしてください。

• Dify
  様々なAIを使ってオリジナルのフローを作れるツールです。
  事前に任意のAIモデルのセットアップ及び配布のワークフローの導入が必要です。
  AI文字起こし校正を使わなければ導入しなくても良いですが、オンライン版が手軽です。

• Pythonライブラリ

  • pyannote / speaker-diarization
    Hugging Faceからアクセストークンを作る必要があります。
    無いとStep1が動きません。

  • whisper
    自分のPCで文字起こしをする場合に必要。インストールにgitコマンドがいるので事前に入れてください。
    gitが無いと自動環境構築が途中で止まります。

  • torch
    GPUを使って文字起こしをする場合はGPU対応版のライブラリに入れ替えてください。

今後のアップデート

書くだけ書いてアップデートするかどうかは分かりませんが、以下のようなことを予定しています。
この辺については、自分だけで使う分には優先度低いものとかもあるので、売上やご意見、スキの数によって、やるやらないは変わってくるかもしれません。

• ノイズ除去モードの拡張
  ホワイトノイズ以外にも選択肢の拡張を予定

アップデート内容

記事公開後に追加された機能についてはこちらでまとめています。

2024/12/15 Ver2.1

• 全ステップ一括実行機能を搭載

• QRコード生成機能を追加しスマホからもアクセスしやすく改善

• にじボイスに対応

• 読み上げにルビを使わない選択肢を追加(にじボイスコスト対策)

2024/12/22 Ver2.2

• 外国語翻訳モードを追加
  英語の音声、または動画を入力して日本語に翻訳して吹き替えるモード
  字幕の自動生成などは最近ありますが、声まで吹き替えてしまおうというモードです

• ローカルファイル検索機能を追加
  そもそもローカルで使う前提のツールなので、特定のフォルダにデータを入れておいた場合はアップロードをせずに選択可能な機能。

• 全ステップ実行時にStep2で一時停止する機能を追加
  文字起こしと校正まででいったん一時停止し、その後読み上げと動画作成を行えるようにする機能。手直しの時間を与えるため。

2024/12/29 Ver2.3

• 字幕が長すぎる場合で3行以上の表示に対応
  今まではどんなに長くても2行までしか対応していませんでしたが、折り返しの仕様を変えたので画面いっぱいまで表示可能です

• 字幕が単語単位で折り返されるように変更
  単語を認識して単語内で改行を入れないようにする機能。字幕が読みやすくなります。
  詳しくはこちら
  https://note.com/rcat999/n/n5af14c56d65e

• 動画カッターを追加
  動画の中から指定した秒数の区間を切り出す機能です
  動画解説: https://youtu.be/I0BSTp361EQ

• 音声ファイルから字幕だけの動画を生成可能
  YouTubeでラジオ的な使い方をしたい方向けの機能です。
  テスト動画: https://youtu.be/RjXS2-JJpjA

• 文字起こしレポートをCSV化
  文字起こし時のレポートデータをJSONからCSVに変更し、よりヒューマンフレンドリーにしました。Excel等を使い文字起こしミスなどを訂正できます。

• Difyオンライン版での接続問題を修正
  設定ファイルのサーバー設定部の仕様を変えることで、オンライン版にアクセスできない問題を修正

• GPUメモリが開放されるように挙動変更
  話者分析及び文字起こしでGPUを使う際に使い終わった後明示的にメモリを開放します。

• AI校正の一部失敗時のリトライが可能
  AI校正で一部区間だけ失敗した場合、再度校正ボタンを押すとその部分だけリトライするように挙動変更

• 読み上げ後のリトライで変更箇所だけを読み直すように変更
  読み上げ後にレポートをアップロードした場合、そこだけを読み直すように変更

2025/01/11 Ver2.3.2

自動データアサインを変更し、手順をスキップすることで様々な出力を得られるように変更。
※詳細は"機能"参照

• 地声吹き替えモード時

  • 吹き替え音声+字幕

  • 地声音声+字幕 (New)

• 英語吹き替えモード時

  • 日本語吹き替え+日本語字幕

  • 英語音声+日本語字幕 (New)

  • 英語音声+英語字幕 (New)

トラブルシューティング

エラーが発生したと出ましたがよくわかりません

黒い画面の方にもう少し詳細なエラーメッセージが出ています。確認してください。
データのファイル名は半角英数字だけになっていますか?
日本語や記号はNGです。もちろんスペースも。
どうしてもわからなければ連絡してください。ここに掲載される代わりに回答します。

追加規約

本作にはグローバル規約とは別に追加の利用規約があります。
本作には独自の追加規約があります。
グローバル規約と被る場合、こちらが優先されます。

・禁止行為明確化
次の行為は禁止事項です。
本作をWEBサービスとして有償無償問わず公開する行為。
家族や友達くらいまでならOKですが、範囲が広くなるのでネットの友達はNGとします。
理由:Rcat999へのアクセスが行われなくなるため。それはつまりRcat999へ損害であるため。

・商用利用の場合の追加規約
ユーザーの目に留まる個所に本ツールを使ったことが分かる記述及び説明などにURLを入れること。
Youtubeであれば説明欄の最初か最後にツール名とURLを書き込む。(例:動画編集:地声動画全自動吹き替えツール Rcat999)
1、2ステップ程度で説明が見られないプラットフォームの場合は、動画の中にきちんと読める程度のサイズと秒数でクレジットを入れてください。(あえて動画の最後に30秒の空白を挿入して最後の10秒にクレジットを入れる等、明らかにクレジットが表示される前にユーザーが視聴を止めると思われるやり方は不可)
説明欄や添付文書が無く動画だけの場合は動画の最後1秒以上クレジット及びURLを表示してください。ユーザーがURLを見てアクセスできるレベルであることが前提。

・商用利用の定義
商用利用とは次の状態を指します。
作った音声や動画を有償で配布、閲覧させる行為。
収益化可能なプラットフォームで収益化ができる状態で公開される場合(他のコンテンツで収益を得てこのツールで作った動画で全く出ていなくても対象)。
企業の業務や活動で作成した動画や録画を吹き替える行為。

・商用とみなされない場合
教育機関での使用。
学校や大学など教育機関として公に認められている場でのみ公開、視聴される場合。
※作った動画を一般でも見られる状態でインターネットに投稿などすると場合によって商用利用とみなされる場合があります。

・非営利の場合の追加規約
この場合はクレジットの表記は任意とします。
宣伝は大歓迎なので出来ればツール名とURLを入れていただけると嬉しいです。

・非営利コンテンツの定義
非営利コンテンツとは収益化不可能なプラットフォーム及びできない状態のアカウントで公開される場合を指します。
また、明らかにそのコンテンツの価値が動画ではなく別にあると言える場合もこちらに含む。
例:noteで何かを作った記事を書いて、実際に使ってみた動画も添付する。その記事は有料だがそれで得られるのは工作の方の情報であるなど。

###周辺ツールの規約も必ず確認してください###
ここまではあくまで本ツールの規約です。外部ツールの規約によってはこちらでOKでもNGの場合もあるので確認してください。

配布情報

配布URL

以下のURLより配布しています。
利用規約に同意の上ご利用ください。
またVOICEVOXにはキャラクターごとに利用規約がありますので、そちらも忘れずにご確認ください。

https://script.google.com/macros/s/AKfycbxdcr8pnazR7RbjaSICTtaNWfN7h_rjQrKlZ3h9CZpPRFzRILk1OGc8mZqKbF-NXNO9/exec?name=地声VOICEVOX実況吹き替えツールVer2

配布キーワード

以下の配布情報記事から入手可能です。
※前作の購入は不要です