【トークン (Token) 】AIが途中でサボる理由？プラモデルとブロックの残酷な真実〜

014【トークン (Token) 】AIが途中でサボる理由？プラモデルとブロックの残酷な真実

AI（ChatGPTなど）に長文の作成をお願いしたとき、文章が途中でプツンと切れてしまい、「あれ？ フリーズした？ サボってる？」と困った経験はありませんか？

「まだそんなに文字数は多くないはずなのに……」と不思議に思うかもしれませんが、実はAIは**「文字数」を見ていない**のです。

今日は、AIを動かす最小単位である「トークン（Token）」について、プラモデルとレゴブロックに例えて解説します。

■ 意味で捉える人間、ブロックに分解するAI

私たち人間は、言葉を「完成した車のプラモデル」のように、全体での「意味」として捉えます。

しかし、AIには人間の言葉を理解する心はありません。AIが言葉を出力するためには、完成した車を一度バラバラにして、意味を持たない「レゴブロックのパーツ」に分解して処理する必要があります。

この**細かく分解されたブロックの1つ1つが「トークン」**です。

AIは「一度に組み立てて吐き出せるブロックの数（Max Tokens）」に厳密な限界が設定されています。その上限に達すると、文章の途中であろうと強制的に動作がストップしてしまうのです。

■ 現場で起きている技術的実体：日本語ユーザーのハンデ

ITの現場でAIを利用・開発する際、コストや制限は「文字数」ではなく「処理したトークン数」で決まります。

ここで日本人に残酷な真実があります。AIの多くは英語圏で作られているため、アルファベットの処理が非常に効率的です。例えば英語の `Apple` は「1トークン（1ブロック）」として処理されますが、日本語で `りんご` と書くと、AIにとっては見慣れない複雑な記号のため `り` `ん` `ご` のように複数の細かいトークンに分解されてしまうことが多いのです。

つまり、同じ意味の文章を出力させようとしても、日本語は英語の数倍のトークン（ブロック数）を無駄に消費してしまいます。

だから、私たちが「まだちょっとしか書いてないのに」と思っても、AIの内部ではブロックがあっという間に品切れになり、途中で止まってしまうのです。

■ まとめ：今日からできる「トークン節約」のコツ

この仕組みを知っていれば、AIが途中で止まっても焦らず「ああ、日本語だからブロックを使い切っちゃったんだな」と冷静に対処できます。

【AIを使う時のちょっとしたコツ】

AIに長文を作ってもらうときは、一気に全部を書かせないのがポイントです。

「まずは目次だけを作って」

「次に、第1章だけを書いて」

このように、AIにお願いするタスクを小分けにしてあげれば、途中でブロック（トークン）が品切れになって返事が止まるのを防ぐことができます。

言葉を「意味」ではなく「ブロック（消費コスト）」として捉える。この視点を持つだけで、AIへの指示出しがずっとスムーズになりますよ！

▼ もっと手軽に学びたい方へ（音声版のご案内）

「文字を読むのはちょっと疲れる…」という方は、ぜひPodcast（音声版）も聴いてみてください！

ミサキと高橋部長の掛け合いで、通勤時間や家事の合間に、たった5分で今日の復習がサクッとできちゃいます。

👇こちらからどうぞ！

■ 最後に

新しい言葉が次々に出てきて焦るかもしれませんが、分からなくても大丈夫です。この教室で、焦らず少しずつAIとお近づきになっていきましょう！

※このコンテンツは非エンジニアのゆう＠アラフィフが知識ゼロから作った【半自動でnote記事とポッドキャストを生成する仕組み】で作られています。不正確な場合や比喩が適切でないばあいがありますのでご了承ください。