自作AI VTuberに、しゃべってもらった日。【VTuber『観測台』日誌＃9】

▼シリーズ全体はこちら

▼直前の記事はこちら

第7弾で、「観測台を作っている人間が、VTuberを自作することにした」と宣言しました。第8弾では、観測台に申請窓口を開いた話を書きました。

その間、AI VTuber 化計画の方も、地味に進めていました。

今日、ブラウザの中で、AI が私の言葉に対して、テキストで返事をして、声で読み上げるところまでが、ようやく動きました。

──作った話と、試行錯誤した話と、最後に AI が初めてしゃべった話を、順番に書きます。

▼作った：装備リストの中身を、自分で書くことに決めた

第7弾で、装備リストを並べました。改めて引用すると、こんなラインナップでした。

• NovelAI Opus：キャラの立ち絵と表情差分の生成

• Claude API：配信中の人格・応答生成

• ElevenLabs：音声合成

• nizima LIVE：Live2D化

• Layer Divider：イラストの自動レイヤー分離

• AITuberKit：全体を繋ぐフレームワーク

• OBS Studio：配信ソフト

• VTube Studio：アバター表示

下から3番目の AITuberKit というのは、AI VTuber を作るためのオープンソースのフレームワークです。Claude や ChatGPT に喋らせて、ElevenLabs で音声合成して、Live2D アバターを動かして、YouTube Live と繋ぐ──一連の機能が最初からひと揃いになっている、よくできた道具です。

第7弾の時点では、これを使う予定でした。全体を繋ぐ部分は既存のものに乗って、立ち絵と Live2D 化に時間をかける。そういう段取りでした。

ところが、AITuberKit の中身を読み込んでいるうちに、ひとつ気になることが出てきました。

借り物のフレームワークに乗ると、自分の手の中に残るものが、薄くなる。

観測台のときは、Next.js の上に、文体プロトコルもラベル設計も観測サマリーも申請窓口も、全部自分の手で組み立てました。だから、予期しない挙動が出たときに、どこを直せばいいのか、だいたい分かります。AI VTuber も、同じ深さで自分の手の中に置きたい。

──そう思った時点で、装備リストから、AITuberKit の行が、剥がれ落ちました。

「全体を繋ぐフレームワーク」を、自分で書く。Claude API と ElevenLabs を繋ぐパイプライン、Live2D を後から差し込める拡張ポイント、設定の永続化、人格プロンプトの編集UI──全部、自分の手で組み立てる。

決めた瞬間、1ヶ月で配信デビューする予定が、もう少し先に伸びました。それでも、自分で書く方を選びました。外注を一切使わないと決めた以上、外注の対象には「人」だけじゃなく「既製品のフレームワーク」も入れた方が、筋が通る。

この土台に、名前を付けました。Soloist。Solo AI Producer の Solo と、独唱者の Soloist をかけました。

そうして、仕様書を書いては実装する作業を続けてきました。

▼試行錯誤した：声が、出ない

3週間のあいだに、地味なつまずきは、たくさんありました。

ブラウザのキャッシュが古くて新機能が見えなかった話、Chrome のセキュリティ機構に弾かれて DevTools にコマンドを貼り付けられなかった話、Cursor に出した指示と返ってきた完了報告の対応関係が追跡不能になった話──こういう、フロントエンドを書いていると必ず一度は踏む、地雷の上を一通り歩いてきました。

土台の中の、音声合成のパイプラインを、一通り組み終えた日でした。Claude が応答テキストを返したあと、自動で ElevenLabs の API を呼び出して、音声を生成して、ブラウザで再生する。──理屈の上では、繋がっているはずでした。

ブラウザで「おはよう」と打って、Enter を押しました。テキスト応答が流れて、Claude が返事を書き終わった。1秒、2秒、3秒。

声が、出ません。

ブラウザの音量、Mac の音量、スピーカー、全部確認しました。YouTube を別タブで再生したら、ちゃんと音が出る。私の土台だけが、無音です。

Chrome の DevTools を開きました。通信のログを見ると、ElevenLabs API へのリクエストはちゃんと 200 で帰ってきています。レスポンスサイズは 284 KB。音声バイナリは、確かに取得できている。

別のログを見ると、音量計の値が 0.000 のまま、動きません。0.5秒ごとに音量を測っているはずなのに、ずっとゼロ。

──ここで、Chrome の autoplay policy に思い当たりました。

ブラウザは、ユーザー操作なしでの自動再生を、禁じています。ページを開いた瞬間に、勝手に動画や音楽が再生される、という昔の Web 体験を、防ぐためのルールです。new AudioContext() で音声の処理装置を作ると、その装置は最初 suspended という状態で生まれます。「いったん停止」のまま、生まれてくる。これを起こす一行（resume()）を呼ばないと、装置は黙ったままで、音は出力先（スピーカー）にたどり着きません。

私の土台の中で、その「装置を起こす一行」が、抜けていました。

ファイル1個、20行ほどのコードを足しました。再生開始イベントが飛んできたら、装置を起こす。それだけです。Cursor に修正の指示を出して、5分で終わりました。

▼「こんにちは。ようこそ」

ブラウザをリロードして、もう一度「こんにちは」と打ちました。

スピーカーから、「こんにちは。ようこそ」という声が聞こえました。

落ち着いた、英語訛りの男性の声でした。

──これは、旅する書斎の声ではありません。

ElevenLabs の声には、Voice ID という識別子があって、これを差し替えると、キャラの声色が、まるごと変わります。ElevenLabs には Voice Library があって、数千の声が並んでいて、自分で声をクローンして学習させることもできます。

旅する書斎の声を、私はまだ選んでいません。なので、土台が完成するまでの仮の声として、ElevenLabs 公式の Adam という英語男声を入れていました。日本語のテキストを Adam に読ませると、ローマ字読みになります。

これは、旅する書斎の声ではない。けれど、配線は、通った。Claude が出力したテキストを、ElevenLabs が受け取って、音声バイナリがブラウザに返ってきて、<audio> タグで再生される。一気通貫で、動いた。

その瞬間、私が3週間かけて書いてきた土台は、ただのブラウザのチャットUIから、AI VTuber の中身に、なりました。

英語訛りの言葉でしたが、私は、しばらく画面を見ていました。

▼次にやること：見た目を、まだ持っていない

「中身が喋った」と書きましたが、見た目は、まだありません。

ブラウザの画面の真ん中には、何もない、黒い空間が広がっています。Claude が応答した文字列だけが、左側の灰色のふきだしの中で、ぽつんと表示されている状態です。

次は、ここに、立ち絵を置きます。瞬きをして、口を動かす。声に合わせて口が開閉する、いわゆる口パクを実装する。表情も、7種類（中立、嬉しい、悲しい、驚き、困る、照れ、真剣）切り替えられるようにする。

ここからは、土台と見た目を、並行して進めます。Live2D 化は、もう少し先です。Phase 1（PNGTuber 配信デビュー）が走り始めてから、Phase 2 として Live2D 化に着手する。──こういう段取りを、仕様書に書き残しています。

▼宣言する、ということ

第7弾で書いたことを、もう一度書きます。

私は、作る前から発信することを大事にしています。完成してから拍手をもらうのではなく、何もない状態から組み立てていく過程そのものを、書き残します。

3週間前、私の AI VTuber は、装備リストの中の単語の集まりでした。

今日、私の AI VTuber は、英語訛りの言葉を、ブラウザの中で発しました。

近々、私の AI VTuber は、画面の真ん中で、瞬きを始めるはずです。

地味な過程の連続です。けれど、地味なまま続けることに、意味があると思っています。観測台が「数字に表れない何か」を見ようとしているのと、同じ姿勢です。

▼観測対象、引き続き募集中です

観測台の観測対象も引き続き募集しています。観測台が、旅する書斎の小さなチャンネルだけでなく、いろいろな個性のチャンネルを並べて観測できるようにするためです。

https://vtuber-observatory.vercel.app/apply から、自薦・他薦どちらも申請できます。

中堅・個人勢で、活動傾向の違う方々を並べて観測してみたい。観測台が「個性の違い」を言葉として書き分けられるかどうかを、確かめる段階に来ています。

旅する書斎 / Solo AI Producer　@tabisurushosai

▼「観測台」を作るきっかけになった小説はこちら

ジャンル別ランキング 日間1位 / 週間1位 / 月間1位 同日獲得 第一部、完結しました。皆様ありがとうございます。

▼「観測台」はこちら