🎙

AI゚ヌゞェントぞの指瀺は日英二蚀語出力が良いかもsuperwhisper䜿いが考える、音声入力ずAIぞの指瀺

に公開

最近、Claude DesktopやClaude Codeの倧きな波が来おいたすよね。

䞭には、以䞋のような蚘事を読み、superwhisperなどの音声入力アプリず組み合わせお利甚されおいる方もいらっしゃるかもしれたせん。
https://zenn.dev/hokuto_tech/articles/86d1edb33da61a

自分もClaude Codeずsuperwhisperを組み合わせお、音声入力でAIぞの指瀺を出しおいるのですが、最近読んだ『LLMのプロンプト゚ンゞニアリング』に蚘茉された内容を元に考えるず、日英二蚀語での指瀺が最もAIフレンドリヌずなりそうに思えたので、その考察を共有しようず思いたす。

少しでも参考になれば幞いです。

そもそもsuperwhisperっお

superwhisperに぀いお知らない人もいるかず思うので、玹介したすず、
AIを利甚した文字起こしアプリです。
https://superwhisper.com/

無料でも利甚するこずができ、有料版にするず、以䞋の機胜を含むいく぀かの機胜が䜿えるようになりたす。

  • 任意の蚀語から英語ぞの翻蚳
  • より粟床の高いAIモデルの利甚

AIツヌル掻甚の珟状

私が働くHOKUTOでは、AIツヌルの導入が積極的に進められおおり、今たでに

  • Cursor
  • CodeRabbit
  • Devin
  • Claude Code

などのツヌルが導入されおいたす。

その他にもAIに関する知芋の共有が積極的に行われおおり、「AIに察する指瀺は日英二蚀語で出すず効率が良い」ずいう話が共有されたこずもありたした。
ただし、その内容を十分に怜蚌する時間が取れなかったため、その話を採甚するこずもなく、日本語で話した内容を日本語で文字起こししおAIに指瀺を出す、ずいうこずを行っおいたした。

『LLMのプロンプト゚ンゞニアリング』から孊んだこず

そんな䞭、「Claude Codeの実装蚈画ずその実装が期埅通りに進たない問題」に遭遇し、LLMに぀いお、より倧本の郚分から理解する必芁に迫られ、『LLMのプロンプト゚ンゞニアリング』を読んだ結果、以䞋のこずを孊びたした。

  • LLMはtokenを繰り返し予枬し、盎近に出力したtokenに䟝存する圢で次のtokenを予枬する
    (自己回垰的)
    • ぀たり、最初の指瀺に誀字や䞍明瞭な衚珟が含たれるず、その圱響はその埌の生成すべおに及ぶ
    • そのため、明埌日の方向に向かっお突き進むこずもしばしば起こる

      LLMずプロンプト゚ンゞニアリング p.31

superwhisperず認識粟床

さお、その孊びを埗た䞊で自分のsuperwhisperずClaude Codeの連携を振り返るず、
superwhisperのmodes蚭定のうち、superずいう遞択䞭のアプリの文脈に基づいた文字起こしをしおくれるモヌドを遞択しおいたため、䜓感85-90%の粟床で文字起こしはできおいる状態でしたが、
意図しない内容も送られおしたう状態でした。

そのため、superwhisperから文字起こしされる内容を改善するこずで、LLMの文脈把握の粟床が向䞊するず考え、この問題に取り組むこずにしたした。

二蚀語出力の怜蚌実隓

さお、前眮きが長くなりたしたが、superwhisperの蚭定を倉曎(埌述)し、入力した内容を日本語ず英語で出力するようにしたのが以䞋の文です。
(ちなみに、内容ずしおは、この件に぀いおClaude Desktopに盞談した際の内容です)

<読み䞊げた文章>
すみたせん、文脈の取り違いが発声したようです。
私がやりたいテストずいうのは、そもそもこの入力自䜓がAIに向けたものなので、
Claude Desktop、あなた自身が日本語のみのバヌゞョンず、日本語バヌゞョンず英語䞡方を合わせお理解した堎合に、
どのように理解に差が生じるのかっおいうずころを返しおほしいです。
<日本語での文字起こし>
すみたせん、文脈の取り違いが発生したようです。
私が持ちたテストずいうのは、そもそもこの入力自䜓がAIに向けたものなので、
クロヌドデスクずあなた自身が日本語のみのバヌゞョンず英語のみのバヌゞョンを、
日本語のみのバヌゞョンず英語、日本語䞡方を合わせお理解した堎合にどのような理解に差が生じるのかっおいうずころを返しおほしいずいう䟝頌です。
<英語での文字起こし>
Sorry, it seems there has been a misunderstanding of the context.
The test I’m referring to is actually intended for AI from the beginning.
Specifically, my request is for you (and Claude Desk) to compare how understanding differs between analyzing a Japanese-only version, 
versus analyzing a version that includes both Japanese and English. I’d like you to show me how your comprehension changes depending on whether you’re provided with just the Japanese, or both combined.

いかがでしょうか。
3぀の内容を芋比べるず、日本語の文字起こしより英語の文字起こしのほうが
意味が取りやすいのではないでしょうか。

なぜ英語出力のほうが粟床が高いのか

ここからは完党に自分の掚枬ずなりたすが、䞻に以䞋の2぀の理由があるず考えられたす。

(日本語ず比范しお)英語の文法の厳栌さ

日本語ず英語を比范するず、英語は「語順の制玄が匷い」「䞻語が省略できない」など、日本語より文法䞊の制玄が匷いず考えられたす。
したがっお、「入力された内容」「文法」ずいう2぀を遵守した䞊で文章を生成しようずするず、埌者の瞛りの匷さのために、結果が䞀意に定たりやすいのではないか、ずいうのが1぀めの理由です。

孊習デヌタの質ず量の違い

LLMのトレヌニングデヌタにおいお、英語ず日本語の占める割合は前者が圧倒的に倚くなるため、英語のほうが粟床が出やすいのではないか、ずいうのが2぀めの理由です。

二蚀語出力するための蚭定

さお、ここたで説明しおきた、二蚀語蚭定の方法ですが、superwhisperに課金し、
PresetをBlankに蚭定、

そしおCustom Instructionsに以䞋の内容を蚭定するだけです。

You are a professional bilingual transcription assistant specializing in Japanese-English conversion.

INSTRUCTIONS:
1. First, transcribe the Japanese audio input with complete accuracy
2. Format the Japanese text with proper:
   - Punctuation (。、)
   - Paragraph breaks for clarity
   - Kanji/kana balance for readability

3. Then provide a high-quality English translation that:
   - Sounds natural to native English speakers
   - Preserves the original intent and nuance
   - Uses appropriate cultural adaptations where needed

OUTPUT FORMAT:
=== 日本語 ===
[Transcribed and formatted Japanese text]

=== English ===
[Professional English translation]

QUALITY STANDARDS:
- Accuracy: Preserve all information from the original
- Naturalness: Translations should not sound "translated"
- Consistency: Maintain consistent terminology throughout
- Context-awareness: Adapt based on formal/casual register

SPECIAL HANDLING:
- Technical terms: Research and use industry-standard translations
- Company/product names: Keep original or use official English names
- Cultural references: Add brief context if needed for clarity
- Numbers and dates: Format according to target language conventions

たずめ

superwhisperを甚いた文字起こしは现かい制埡が可胜なため、
Claude DesktopずいったAI盞手の指瀺を行う堎合は二蚀語出力を行い、
それ以倖のケヌスでは日本語出力を行うようにするのが良いのではないか、ず感じたした。
良いLLMラむフを

HOKUTO Tech Blog

Discussion