PDF10枚を渡したら、4分50秒の研修動画が返ってきた。──人の声ゼロ。Gemini 3.8 Flash TTS×Claude Codeの制作ラインを全部見せます

あなたは研修教材の書き起こし担当です。要約・言い換え・補足は一切しないでください。
添付した画像は、研修教材のスライド【ここに枚数】枚です。

【やること】
・各スライドに書かれている文字を、書かれている順番のまま、原文どおりに書き起こす
・見出し、本文、図の中の文字、注釈を区別する
・読み取れない文字は推測で埋めず「［判読不能］」と書く

【出力形式】
スライドごとに次の形で出してください。
スライド番号：
見出し：
本文：（箇条書きは箇条書きのまま）
図の中の文字：
注釈・小さな文字：
気になった点：（切れている文字、はみ出している要素など）

# pdf_to_png.py  画像だけのPDFを1枚ずつPNGにする（PyMuPDF）
# 使い方: python pdf_to_png.py source.pdf slides
import sys
from pathlib import Path

import fitz  # pip install pymupdf

src, out = Path(sys.argv[1]), Path(sys.argv[2])
out.mkdir(parents=True, exist_ok=True)
doc = fitz.open(src)
for i, page in enumerate(doc, start=1):
    has_text = bool(page.get_text().strip())
    pix = page.get_pixmap(dpi=288)  # 16:9 のスライドなら 3840x2160
    path = out / f"s{i:02d}.png"
    pix.save(path)
    print(f"{path.name}: {pix.width}x{pix.height} 文字の層={'あり' if has_text else 'なし'}")

あなたは研修動画の音声ディレクターです。
下に貼る音声の一覧（JSON）から、条件に合う声を3つ選んでください。

【動画の用途】【ここに用途：例）社内研修・経営者向け解説・約5分】
【条件】
・落ち着いていて、長く聞いても疲れない
・【ここに性別や声の高さの希望】
・persona に Training / Instructional / Narrator などの語を含むものを優先

【音声の一覧】
【ここに JSON を貼る】

【出力形式】表で出してください。
| 順位 | 声のID | 性別・高さ | persona | 選んだ理由（1行） | 気になる点 |

あなたは音声演出の担当です。
次の動画のナレーター用に、音声合成へ渡す「話し方の指示文」を1つ作ってください。

【動画の内容】【ここに内容を2〜3行で】
【見る人】【ここに対象：例）中小企業の経営者と管理職】
【避けたい印象】【ここに例：売り込み口調、早口、過度に明るい】

【条件】
・日本語で2〜3文、合計80字以内
・役割（誰として話すか）、声の質、速さ、語尾の扱いを必ず含める
・感情を大げさにする言葉は使わない

【出力形式】
指示文：
この指示で想定している話し方（1行）：

// tts_one.mjs  Gemini 3.8 Flash TTS で1文を読ませて WAV に保存する
// 使い方: GEMINI_API_KEY=... node tts_one.mjs "読ませる文" out.wav
import fs from 'node:fs';

const [text, out] = process.argv.slice(2);
const style = '社内研修動画のナレーター。落ち着いた低めの男性の声で、急がず、はっきり、丁寧に話す。語尾はやわらかく、押しつけがましくしない。';
const body = {
  model: 'gemini-3.8-flash-tts',
  input: [{ type: 'user_input', content: [{ type: 'text', text, annotations: [{ type: 'speech_metadata', style }] }] }],
  response_format: { type: 'audio' },
  generation_config: { speech_config: [{ voice: 'ja-jp-training-4' }] },
};
const res = await fetch('https://generativelanguage.googleapis.com/v1beta/interactions', {
  method: 'POST',
  headers: { 'x-goog-api-key': process.env.GEMINI_API_KEY, 'content-type': 'application/json' },
  body: JSON.stringify(body),
});
if (!res.ok) throw new Error(`HTTP ${res.status}: ${(await res.text()).slice(0, 300)}`);
const json = await res.json();
// 応答の steps から音声を取り出す（RIFF で始まれば WAV、そうでなければ 24kHz の生PCM）
const audio = (json.steps || []).filter((s) => s.type === 'model_output').flatMap((s) => s.content || []).find((c) => c.type === 'audio');
let buf = Buffer.from(audio.data, 'base64');
if (buf.slice(0, 4).toString() !== 'RIFF') buf = pcmToWav(buf, 24000);
fs.writeFileSync(out, buf);

function pcmToWav(pcm, rate) {
  const h = Buffer.alloc(44);
  h.write('RIFF', 0); h.writeUInt32LE(36 + pcm.length, 4); h.write('WAVE', 8);
  h.write('fmt ', 12); h.writeUInt32LE(16, 16); h.writeUInt16LE(1, 20); h.writeUInt16LE(1, 22);
  h.writeUInt32LE(rate, 24); h.writeUInt32LE(rate * 2, 28); h.writeUInt16LE(2, 32); h.writeUInt16LE(16, 34);
  h.write('data', 36); h.writeUInt32LE(pcm.length, 40);
  return Buffer.concat([h, pcm]);
}

あなたは研修動画の台本作家です。
下に貼る教材の書き起こしを、ナレーション台本の表にしてください。内容を足したり削ったりしないでください。

【教材の書き起こし】
【ここに書き起こしを貼る】

【ルール】
・1行＝字幕1枚。display は34字以内（2行に収まる長さ）
・スライド1枚につき3〜6行を目安に、教材の順番どおり並べる
・display は画面に出す文字（正しい表記のまま）
・tts は読み上げ用の文字（この段階では display と同じでよい）
・scene はスライドの番号または場面名

【出力形式】JSON の配列で出してください。
[{"id": "場面の略号_連番", "scene": "場面名", "display": "字幕の文", "tts": "読み上げ用の文"}]
最後に、行数の合計と、34字を超えそうだった行の一覧を書いてください。

あなたは音声合成の読み調整の担当です。
下の台本（JSON）の tts 列だけを書き換えてください。display 列は1文字も変えないでください。

【書き換えるもの】
・英字の製品名・サービス名 → カタカナ（例：Claude Code → クロードコード）
・読みが複数ある漢字、専門用語 → ひらがな（例：台帳 → だいちょう）
・時刻・数字・番号 → 読みどおりのかな（例：23時30分 → にじゅうさんじ、さんじゅっぷん）
・敬称や業界の言い回し → 意図した読みのかな（例：御社 → おんしゃ）
・意味の切れ目に読点を足してよい（ゆっくり読ませたい箇所）

【台本】
【ここに JSON を貼る】

【出力形式】
書き換えた JSON 全体と、その下に「変更した語の一覧」を表で。
| 行ID | 元の表記 | 読ませ方 | 理由 |

// gen_all.mjs  台本の全行を「直列・15秒間隔」で生成。同じ条件の音声は作り直さない
import fs from 'node:fs';
import crypto from 'node:crypto';
import { synth } from './synth.mjs'; // コード②の処理を synth(text, style, voice) → WAV Buffer にまとめたもの

const script = JSON.parse(fs.readFileSync('script.json', 'utf8'));
const MODEL = 'gemini-3.8-flash-tts', VOICE = 'ja-jp-training-4';
const LIMIT = 65;      // 送信回数の上限（超えたら止める）
const GAP_MS = 15000;  // 1本送るごとに15秒あける
fs.mkdirSync('audio', { recursive: true });
let sent = 0;

for (const it of script.items) {
  // キャッシュのキー＝モデル＋声＋話し方＋文＋take番号
  const key = crypto.createHash('sha1')
    .update(JSON.stringify({ model: MODEL, voice: VOICE, style: script.narration_style, text: it.tts, take: it.take }))
    .digest('hex').slice(0, 12);
  const file = `audio/${it.id}.${key}.wav`;
  if (fs.existsSync(file)) continue;              // 同じ条件ならAPIを呼ばない
  if (++sent > LIMIT) throw new Error(`送信上限 ${LIMIT} 回に到達`);
  const wav = await synth(it.tts, script.narration_style, VOICE);
  fs.writeFileSync(file, wav);
  console.log(`生成 ${it.id}（今回 ${sent} 回目）`);
  await new Promise((r) => setTimeout(r, GAP_MS));
}

// trim.mjs  前後の無音を削る（-45dBFS 未満の10ms窓を無音とみなし、前40ms・後120msは残す）
// samples は 16bit モノラルの Int16Array
export function trimSilence(samples, rate, th = -45, pre = 0.04, post = 0.12) {
  const n = Math.round(rate * 0.01); // 10ms 窓
  const db = [];
  for (let i = 0; i + n <= samples.length; i += n) {
    let acc = 0;
    for (let j = 0; j < n; j++) { const v = samples[i + j] / 32768; acc += v * v; }
    db.push(10 * Math.log10(acc / n + 1e-12)); // 窓ごとの RMS を dBFS に
  }
  const a = db.findIndex((d) => d >= th);
  if (a < 0) return samples; // 全部無音ならそのまま返す
  const b = db.length - 1 - [...db].reverse().findIndex((d) => d >= th);
  const s0 = Math.max(0, a * n - Math.round(pre * rate));
  const s1 = Math.min(samples.length, (b + 1) * n + Math.round(post * rate));
  return samples.slice(s0, s1);
}

あなたは解説動画のカメラ担当です。
添付したスライド画像と、下の台本（このスライドで読む行だけ）を見て、各行で「画面を寄せる場所」を決めてください。

【台本】
【ここに行IDと display を貼る】

【ルール】
・場所はスライド全体を1とした比率で [x, y, 幅, 高さ] で表す（左上が0,0）
・その行で話している文字や図がちょうど入る大きさにする
・スライド全体を見せたい行は null にする
・隣り合う行で場所が大きく飛びすぎないようにする

【出力形式】JSON で出してください。
{"行ID": [x, y, 幅, 高さ], "行ID": null}
最後に、判断に迷った行があれば理由を1行ずつ書いてください。

// 焦点 [x, y, 幅, 高さ]（スライドに対する比率）→ カメラ（倍率 z と中心 cx, cy）
const ZMAX = 1.3;
const clamp = (v, a = 0, b = 1) => Math.max(a, Math.min(b, v));
const lerp = (a, b, k) => a + (b - a) * k;
const ease = (k) => (k < 0.5 ? 4 * k ** 3 : 1 - (-2 * k + 2) ** 3 / 2);

function cam(r) {
  if (!r) return { z: 1, cx: 0.5, cy: 0.5 };                   // null は全体表示
  const z = clamp(Math.min(0.86 / r[2], 0.8 / r[3]), 1, ZMAX); // 枠が画面の86%×80%に収まる倍率（上限1.3）
  const hw = 0.5 / z;                                          // 端がはみ出さないよう中心を寄せる
  return { z, cx: clamp(r[0] + r[2] / 2, hw, 1 - hw), cy: clamp(r[1] + r[3] / 2, hw, 1 - hw) };
}

// 時刻 t → 画面がひとつに決まる。乱数・現在時刻・CSSアニメは使わない
// CUES（各行の開始時刻）と FOCUS（行ID→焦点）はタイムラインと台本から読み込んでおく
window.renderAt = function (t) {
  const kf = CUES.map((c) => ({ t: c.start - 0.25, r: FOCUS[c.id] ?? null })); // 話し始めの0.25秒前から動かす
  let k = -1;
  for (let i = 0; i < kf.length; i++) if (t >= kf[i].t) k = i;
  const cur = kf[k] ?? { t: -1e9, r: null }, prev = kf[k - 1] ?? { r: null };
  const b = ease(clamp((t - cur.t) / 0.7)); // 0.7秒かけて次の焦点へ
  const c0 = cam(prev.r), c1 = cam(cur.r);
  const z = lerp(c0.z, c1.z, b), cx = lerp(c0.cx, c1.cx, b), cy = lerp(c0.cy, c1.cy, b);
  const W = 1568, H = 882; // スライド枠の大きさ（px）
  slide.style.transform = `translate(${W / 2 - cx * W * z}px, ${H / 2 - cy * H * z}px) scale(${z})`;
};

// timeline.mjs  トリム済みクリップを間隔つきで並べ、1本のWAVと字幕キューを作る
import fs from 'node:fs';
import { readWav, writeWav } from './wav.mjs'; // 16bit・モノラルWAVの読み書き（自作の小さな部品）

const RATE = 24000;
const script = JSON.parse(fs.readFileSync('script.json', 'utf8'));
const SAME = 0.32, CHANGE = 0.6, HEAD = 0.5, TAIL = 3.2; // 同じ場面の間／場面が変わる間／冒頭／末尾（秒）

let t = 0, prev = null;
const items = [];
for (const it of script.items) {
  t += prev ? (prev.scene === it.scene ? SAME : CHANGE) : HEAD;
  const s = readWav(`trim/${it.id}.wav`).samples;
  items.push({ it, start: t, end: t + s.length / RATE, s });
  t += s.length / RATE; prev = it;
}
const total = t + TAIL;
const mix = new Int16Array(Math.round(total * RATE));
for (const x of items) mix.set(x.s, Math.round(x.start * RATE));
writeWav('narration.wav', mix, RATE);

// 字幕キュー：次の字幕まで0.6秒未満なら、次が出るまで表示を続ける
const cues = items.map((x, i) => {
  const next = items[i + 1];
  const until = next && next.start - x.end < 0.6 ? next.start : x.end + 0.25;
  return { id: x.it.id, text: x.it.display, start: +x.start.toFixed(3), end: +x.end.toFixed(3), until: +until.toFixed(3) };
});
fs.writeFileSync('timeline.json', JSON.stringify({ total, cues }));

// render_seg.mjs  renderAt(t) を1コマずつ撮って ffmpeg にパイプ（30fps・JPEG品質95）
// 使い方: node render_seg.mjs 開始秒 終了秒 seg_0.mp4
import { spawn } from 'node:child_process';
import { chromium } from 'playwright';

const FPS = 30;
const [from, to, out] = [Number(process.argv[2]), Number(process.argv[3]), process.argv[4]];
const ff = spawn('ffmpeg', ['-y', '-loglevel', 'error', '-f', 'image2pipe', '-framerate', String(FPS), '-c:v', 'mjpeg', '-i', '-',
  '-vf', 'scale=in_range=full:out_range=tv:in_color_matrix=bt601:out_color_matrix=bt709,format=yuv420p',
  '-c:v', 'libx264', '-preset', 'medium', '-crf', '18', '-colorspace', 'bt709', '-color_primaries', 'bt709', '-color_trc', 'bt709', out],
  { stdio: ['pipe', 'inherit', 'inherit'] });
const done = new Promise((ok) => ff.on('close', ok));

const browser = await chromium.launch();
const page = await browser.newPage({ viewport: { width: 1920, height: 1080 }, deviceScaleFactor: 1 });
await page.goto(new URL('./player/index.html', import.meta.url).href);
await page.evaluate(() => window.__ready); // 画像とフォントの読み込み完了を待つ
for (let f = Math.round(from * FPS); f < Math.round(to * FPS); f++) {
  await page.evaluate((t) => window.renderAt(t), f / FPS);
  const jpg = await page.screenshot({ type: 'jpeg', quality: 95 });
  if (!ff.stdin.write(jpg)) await new Promise((r) => ff.stdin.once('drain', r));
}
ff.stdin.end();
await browser.close();
await done;

あなたは音声の書き起こし担当です。台本や元の文章は渡しません。
添付した音声で話されている日本語を、聞こえたとおりに書き起こしてください。

【ルール】
・すべてひらがなで書く（漢字に直さない）
・英語や英字は、聞こえた読みをカタカナで書く
・数字も、聞こえた読みをひらがなで書く
・言い直しや聞き取りにくい箇所も、推測で整えずに聞こえたまま書く

【出力形式】
書き起こしの文だけを1行で出してください。説明は不要です。

あなたは日本語の読みの担当です。
次の文を、読み上げたときの読みどおりに、すべてひらがなに書き換えてください。

【ルール】
・漢字、数字、記号、英字もすべて読みのひらがなにする
・英字や英単語は、日本語で一般的な読みをひらがなで書く
・句読点は残してよい

【文】
【ここに文を貼る】

【出力形式】
書き換えた文だけを出力してください。

# kana_diff.py  「読ませたい読み」と「聞こえた読み」をひらがなで比べ、違う箇所だけ出す
# 使い方: python kana_diff.py expected.json heard.json  （どちらも {"行ID": "ひらがな文"} の形）
import difflib
import json
import re
import sys
from pathlib import Path


def norm(s: str) -> str:
    s = "".join(chr(ord(c) - 0x60) if "ァ" <= c <= "ヶ" else c for c in s)  # カタカナ→ひらがな
    return re.sub(r"[\s、。，．,.!！?？・『』「」（）()ー〜～\-:：;；\"'“”…]", "", s)  # 記号と長音を落とす


exp = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8"))
got = json.loads(Path(sys.argv[2]).read_text(encoding="utf-8"))
same = 0
for cid, e in exp.items():
    a, b = norm(e), norm(got.get(cid, ""))
    if a == b:
        same += 1
        continue
    ops = difflib.SequenceMatcher(None, a, b).get_opcodes()
    diffs = [f"{a[i1:i2] or '∅'}→{b[j1:j2] or '∅'}" for tag, i1, i2, j1, j2 in ops if tag != "equal"]
    print(cid, " / ".join(diffs))
print(f"一字一句一致: {same}/{len(exp)}")

あなたは音声品質の検査担当です。
下の表は「読ませたかった読み」と「音声を書き起こした読み」の差分です。各行を分類してください。

【差分】
【ここに 行ID／読ませたかった読み／聞こえた読み を貼る】

【分類の基準】
A：表記の違い（「は／わ」「へ／え」「を／お」など、発音は同じ）
B：書き起こし側の聞き違いの疑い（別の書き起こしで確認すべき）
C：本物の誤読（音声の読みが違う。録り直しか表記の変更が必要）

【出力形式】表で出してください。
| 行ID | 分類 | 根拠（1行） | 次にやること |
C の行には、読みを直すための tts の書き換え案を2つ添えてください。

#!/usr/bin/env bash
# loudnorm_2pass.sh  ナレーションを -14 LUFS に揃えて映像と合体する（2パス）
# 使い方: bash loudnorm_2pass.sh narration.wav video.mp4 final.mp4
set -euo pipefail
IN="$1"; VIDEO="$2"; OUT="$3"
TARGET="I=-14:TP=-1.5:LRA=20"

# 1パス目：いまの音量を測る（ffmpeg が最後に出す JSON の塊だけ取り出す）
M=$(ffmpeg -hide_banner -i "$IN" -af "loudnorm=${TARGET}:print_format=json" -f null - 2>&1 | sed -n '/^{/,/^}/p')
get() { echo "$M" | grep "\"$1\"" | sed -E 's/.*: "?(-?[0-9.]+)"?,?/\1/'; }

# 2パス目：測った値を渡して linear（音量の形を変えない）で整える
LN="loudnorm=${TARGET}:measured_I=$(get input_i):measured_TP=$(get input_tp):measured_LRA=$(get input_lra):measured_thresh=$(get input_thresh):offset=$(get target_offset):linear=true"
ffmpeg -y -loglevel error -i "$VIDEO" -i "$IN" \
  -filter_complex "[1:a]${LN},aresample=48000,aformat=channel_layouts=stereo[a]" \
  -map 0:v -map "[a]" -c:v copy -c:a aac -b:a 192k -movflags +faststart "$OUT"

# 確認：Integrated（全体の音量）と True peak（最大音量）を表示
ffmpeg -hide_banner -nostats -i "$OUT" -map 0:a -af ebur128=peak=true -f null - 2>&1 | grep -E "I:|Peak:" | tail -n 2

// share_chatwork.mjs  720p・5MB以下の共有版を作り、Chatworkに添付投稿して読み戻す
// 使い方: CHATWORK_API_TOKEN=... CHATWORK_ROOM_ID=... node share_chatwork.mjs final.mp4 message.txt
import fs from 'node:fs';
import { execFileSync } from 'node:child_process';

const [src, msgFile] = process.argv.slice(2);
const room = process.env.CHATWORK_ROOM_ID, out = 'share_720p.mp4', LIMIT = 5 * 1024 * 1024;
for (let crf = 30; ; crf += 2) { // 5MBを超えたら画質（crf）を1段ずつ下げて作り直す
  execFileSync('ffmpeg', ['-y', '-v', 'error', '-i', src, '-vf', 'scale=1280:720:flags=lanczos', '-c:v', 'libx264', '-preset', 'slow',
    '-crf', String(crf), '-pix_fmt', 'yuv420p', '-c:a', 'aac', '-b:a', '64k', '-movflags', '+faststart', out]);
  if (fs.statSync(out).size <= LIMIT) break;
  if (crf >= 40) throw new Error('5MBに収まりません');
}
const H = { 'x-chatworktoken': process.env.CHATWORK_API_TOKEN };
const fd = new FormData(); // curl だと日本語のファイル名が化けることがあるので Node の FormData で送る
fd.append('file', new Blob([fs.readFileSync(out)], { type: 'video/mp4' }), '研修動画_共有用720p.mp4');
fd.append('message', fs.readFileSync(msgFile, 'utf8').trim());
const { file_id } = await (await fetch(`https://api.chatwork.com/v2/rooms/${room}/files`, { method: 'POST', headers: H, body: fd })).json();
// 投稿直後は見つからないことがあるので、少し待ってから読み戻して名前とサイズを照合
await new Promise((r) => setTimeout(r, 4000));
const got = await (await fetch(`https://api.chatwork.com/v2/rooms/${room}/files/${file_id}`, { headers: H })).json();
console.log(Number(got.filesize) === fs.statSync(out).size ? `OK ${got.filename} ${got.filesize}` : '読み戻し未確認');

あなたは社内広報と動画配信の担当です。
下の情報から、2つの文章を作ってください。

【動画の情報】
タイトル：【ここにタイトル】
長さ：【ここに長さ】
内容の要点：【ここに3〜5行】
場面の開始時刻：【ここに「場面名 開始秒」の一覧を貼る】
制作方法：【ここに例：ナレーションはAI音声、台本と映像はAIで制作】

【1】社内チャット向けの共有文
・200字以内、です・ます調
・誰に・何のために見てほしいかを最初の1文に
・「AI音声を使っている」ことを必ず明記する

【2】YouTube の概要欄
・冒頭2行で内容を説明する
・チャプターは「0:00 場面名」の形で、開始時刻を分:秒に直して並べる（最初は必ず 0:00）
・最後に制作方法のクレジットを1行

【出力形式】【1】と【2】を見出しで分けて出してください。