確率からEmbeddingへ――AIは世界を「空間」として理解し始めた

＜２０２６年７月２２日以前のコンテンツ一覧はこちら＞

＜Embeddingが何かわからないので解説を作成してもらいました。第１部は以前作成してもらったのですが査読がされていなかったので改訂です。＞

　AIについて調べていると、Embedding（埋め込み）という言葉によく出会います。

　文章をベクトルに変換し、意味の近い文章を近くに配置する。RAGや検索、推薦システムで使われる技術――一般にはそのように説明されます。

　しかし、Embeddingを少し深く考えていくと、これは単なる「文章を数字に変える技術」ではありません。

　その背後には、確率、統計、幾何学、情報理論、そして「世界をコンピュータが扱える空間として表現する」という、かなり大きな流れがあります。

自由度は「引き算」ではなく「空間」の話

　出発点として分かりやすいのが、統計学の「自由度」です。

　自由度というと「標本数 n から1を引いて n-1」と覚えた人も多いでしょう。ところが本質は引き算ではありません。

　たとえば3つの数が自由に動けるなら、3次元の空間を動けます。しかし「3つの数の合計は必ず一定」という条件を加えると、自由に動ける方向が一つ減ります。

　つまり自由度とは、制約を加えたあとに、どれだけ自由に動ける空間が残っているかという考え方です。

確率分布を「空間上の点」として見る

　ここから確率論を見ると、面白いことが起こります。

　コインの表と裏の確率を「0.5、0.5」と書いてみます。

　別のコインなら「0.8、0.2」かもしれません。

　確率の合計は必ず1です。すると、さまざまな確率分布を「空間上の点」として配置することができます。

　結果が3種類なら、確率分布は三角形の中に並びます。結果が増えれば、さらに高次元の空間になります。

　ここで確率は、単なる数字から幾何学へ変わります。

　二つの確率分布が近いのか、遠いのか。不確実性はどれくらいか。分布を少し変えると、どれだけ意味のある変化になるのか。

　こうした問題を突き詰めると、情報量やFisher情報、情報幾何へつながっていきます。

Embeddingは巨大な関係を「地図」にする

　そして、この考え方の延長線上にEmbeddingがあります。

　「犬」と「猫」が似ているのは、文字が似ているからではありません。

　大量の文章の中で、「飼う」「餌」「動物」「毛」「病院」など、似た文脈に現れるからです。

　つまり背後には、巨大な共起関係や確率的・統計的な関係があります。

　その巨大な関係を、そのまま保存するのではなく、数百次元、数千次元程度のベクトル空間へ圧縮する。

　これがEmbeddingを理解する一つの重要な見方です。

　言い換えるなら、Embeddingとは、巨大な確率的・統計的関係を、計算しやすい幾何学へ変換する仕組みです。

「似ている」「確率が高い」「正しい」は別物

　ただし注意も必要です。

　Embedding上で二つの文章が近いからといって、それは「同じ意味である確率が90パーセント」という意味ではありません。

　まして「90パーセント正しい」という意味でもありません。

　似ていること、確率が高いこと、正しいことは、それぞれ別です。

　この区別は、RAGやAI検索を利用するときに非常に重要です。

意味は「点」ではなく「動く軌跡」になる

　さらに現代のAIでは、意味は一つの固定された点に閉じ込められているわけでもありません。

　同じ「bank」という単語でも、「銀行」の話をしているのか「川岸」の話をしているのかで、文脈上の位置は変わります。

　文章が進むにつれて、AI内部の状態も変化します。

　すると意味は「点」というより、空間の中を動いていく軌跡として考えた方が自然になります。

時間、場所、計算資源までEmbeddingできるのか

　ここまで来ると、Embeddingの対象を言葉だけに限定する必要もなくなります。

　場所、時間、履歴、交通状態、在庫、計算時間、GPU使用率、通信量、費用、さらには「いま何を実行できるか」といった行為可能性まで、複雑な関係を持つ状態なら、同じ発想を使うことができます。

　たとえば「処理時間37ミリ秒」という数字そのものをEmbeddingしても、あまり意味はありません。

　しかし、「どのモデルを使い、どのGPUで、どの程度混雑し、どのくらいメモリを使い、その結果37ミリ秒だったのか」という状態全体なら意味があります。

　重要なのは単独の数値ではなく、数値を生み出した文脈と関係だからです。

AIエージェントになると「世界状態」を扱い始める

　AIエージェントでは、さらに権限や予算、停止条件も加わります。

　するとエージェントは、単に「意味空間」を移動しているのではありません。

　意味、時間、計算資源、費用、権限、制度という複数の状態空間を同時に移動しながら、現実世界へ行動を返す存在になります。

　ここまで広げると、Embeddingは検索技術というより、世界状態を機械が扱うための表現層として見えてきます。

確率から「世界状態」まで一本につながる

　ここまでの流れを一本にすると、次のようになります。

観測 → 確率分布 → 情報 → 潜在構造 → Embedding → 関係・遷移 → 世界状態

　AIの進化を「モデルが賢くなった」とだけ見ると、この変化を見落とします。

　より大きな変化は、現実世界の出来事、人間の意味、時間、計算資源、行動可能性までを、コンピュータが比較し、予測し、再計算できる空間へ変換し始めたことなのかもしれません。

　Embeddingとは、そのための一つの入口です。