ピッチシフター / ボイスチェンジャーの仕組み

この記事では、ピッチシフターやボイスチェンジャーで使われているピッチシフト処理の方式と原理について説明します。

ピッチシフトの方式

ピッチシフトの方式は、大きく 2 種類に分けられます。

• 切り貼りタイプ：

  • 単音向き

  • ピッチとフォルマントを容易に別々に操作可能

  • 実用的な範囲は ±1 オクターブ程度

• 再生速度変更タイプ：

  • 単音・和音の両方に対応

  • ピッチとフォルマントは基本的に連動

  • 方式次第では ± 8 オクターブ以上も可能

  • タイムストレッチが必要で、方式は下記の 2 つが主流

    • クロスフェード

    • フェーズボコーダー

単音と和音の違い

各方式の説明に入る前に、単音と和音の波形の違いについて触れておきます。

上の 3 つの画像を見ると、単音は赤い線の間隔ごとに、同じ波形が綺麗に繰り返されているのが分かります。この繰り返し周期が、音程（基本周波数）に対応しています。

一方、和音にもそれっぽい箇所に赤い線を入れてみました。この間隔は 30 Hz 弱に相当しますが、この波形の実際の最低音は約 110 Hz です。このように、和音では波形の周期性が複雑になるため、時間領域のままでは正しい音程を検出するのが難しくなります。

また、上に貼ったのはサステイン部分ですが、アタック部分は単音 / 和音に関係なく、さらに複雑な波形になります。

切り貼りタイプ

波形を細かく切断して、重ね合わせながら再配置する方式です。

• 波形を維持したまま、間隔を詰める：ピッチシフトアップ

• 波形を維持したまま、間隔を広げる：ピッチシフトダウン

• 間隔を維持したまま、波形を縮める：フォルマントシフトアップ

• 間隔を維持したまま、波形を伸ばす：フォルマントシフトダウン

といったように波形を操作します。

PSOLA（Pitch Synchronous Overlap Add）

検出したピッチ周期（上図の赤い線）ごとに波形を切り出します。人の声は周期性が高いため非常に相性が良く、多くのボイスチェンジャーで採用されています。ただし、和音になると上述の通りピッチ検出が不安定になるため、音が暴れます。

また、仮に和音のうち一つの音を正しく安定して検出できたとしても、他の音も同じ周期で切り貼りされてしまうため、和音構成そのものが崩れてしまいます。そのため、ギターのように意図せず和音になる可能性がある音では、少し扱いづらい方式です。

また、検出する最低ピッチの 1 周期分以上のレイテンシーが必ず発生するため、低遅延での処理には限界があります。例えば、検出ピッチを 50Hz までとする場合、その 1 周期にあたる 20ms が原理上の最小レイテンシーになります。

再生速度変更タイプ

音声を倍速再生すると、ピッチとフォルマントも倍にシフトするのを利用した方式です。ただし、単純に再生速度を変えるだけでは波形の長さまで変わってしまうため、元の長さに戻すためのタイムストレッチ処理が必要になります。

動画プレイヤーの「音程を変えずに半分の時間で再生する（倍速再生）機能」がまさにタイムストレッチ処理です。ピッチシフトは、その逆で「長さを変えずに音程だけを変える」処理になります。
例えば、上述の「音程を変えずに半分の時間」で再生するためにタイムストレッチした波形を、半分の速度で再生する（元の長さに戻す）と、音程が下がります（1 オクターブダウンになります）。

クロスフェード方式

ディレイ（録音機）を 2 つ（以上）用意して、クロスフェードしながら再生する方式です。各ディレイがフェードアウトでゼロになったタイミングで再生位置をリセットすることで元の波形長さを維持します。

簡単で軽量なのですが、サステイン音などでクロスフェードによるモジュレーション（トレモロ効果）が目立ってしまうという欠点があります。

また、ディレイタイムの調整で低レイテンシーも比較的簡単に実現できます。

フェーズボコーダー方式

一定間隔で、各周波数の成分が滑らかに繋がるように位相を操作して重ね合わせる方式です。例えば、1kHz の成分がフレーム間で 20 進むとして、長さを半分にしたい場合は、20 進んだ次のフレームを前のフレームの 10 の位置に重ねる必要があります。この時、そのまま重ねると綺麗に重ならないので、次のフレームの先頭が前のフレームの 10 の位置にぴったり重なるように位相を操作するイメージです。詳しくはこのサイトなどで説明されています。

安定性がとても高いのが特徴ですが、波形を自然に繋げるための処理が入るので、アタック（トランジェント）のような急激な変化が失われる問題があります。そのため、多くの製品ではアタックを維持する工夫を入れています。

もう一点、位相を操作したとしても完璧には繋がらないため、少なからず干渉が発生します。ピッチシフトが大きくなると、前述のアタックが失われる効果と合わせて、コーラスがかかったように聞こえる場合があります。

また、（周波数領域に変換する）FFT 処理を教科書通りに実装すると 2048 sample @ 44.1/48k 以上のレイテンシーが必要になります。これは 50 ms 以上のレイテンシーに相当するので、リアルタイムでの使用は厳しい製品がほとんどかと思います。処理負荷も大きくなりがちなので、低レイテンシーで軽量なピッチシフターを設計するためには、DSP についての高度な専門知識が必要です。

フォルマントについて

フェーズボコーダー方式でも、ピッチとフォルマントを分離して処理すれば、それぞれを別々に操作することができます。

ギターの場合だと、
・弦振動成分 → ピッチ
・ボディやピックアップの周波数特性 → フォルマント
となります。

レイテンシーの発生

ピッチシフトは、方式に関係なく「ある程度まとまった波形」を見ながら処理する必要があります。
つまり、鳴っている音に対して未来の信号情報（ルックアヘッド）が必要になるため、ゼロレイテンシーの DSP（1 サンプル入力 → 即 1 サンプル出力）は実質的に不可能で、必ずレイテンシーが発生します。

一般的に、長い時間範囲の波形を細かく解析するほど、
・ピッチ検出
・アタック検出
・位相処理
などの精度を高くできますが、その分レイテンシーが大きくなります。

レイテンシーは、オフライン処理向けの製品であれば 100 ms を超える場合も珍しくありません。リアルタイム用途では、体感的に 20〜30 ms 前後が限界になることが多いため、注意が必要です。

なお、DAW 上で録音済み音源に適用する場合は、通常はレイテンシー補正が入ります。そのため、実際の遅延量を確認したい場合は、
・レイテンシー補正を無効にする
・録音待機状態で演奏し、L：ドライ / R：ピッチシフト のように左右へ振り分けて遅れを確認する
といった方法が必要になります。

フェーズボコーダー方式を採用しながら、低遅延 / フォルマント操作を実現したピッチシフター / ハーモナイザーを無料公開しています。