自由エネルギー原理 中級編 第2章
第2章 驚きとエントロピー
自由エネルギーは【驚き（Surprise）】と【信念と理想的な推論とのズレ】の和で表されます。
ここで信念とは、エージェントが持つ内部モデル（q(x)）です。
自由エネルギー = 驚き + ズレ
本章では、この2つの項のうち、まず驚きについて、できるだけ日常的な言葉との関係を保ったまま考えてみたいと思います。
驚きとは何か？
例えば、初めて雪を見た人は、大変驚くでしょう。あたり一面が白銀で覆われ、今まで見たことのない世界が現れます。歩くと足は埋まり、触ってみると冷たく、氷に触った経験はありますが、雪の感触はやわらかくふわふわして全然違います。人は驚き、犬は興奮して走り回ります。そして人も犬も雪と触れ合いながら、雪という概念とその特徴を、内部モデルとして構成していきます。これは、たとえば「雪は白い」「冷たい」「柔らかい」「寒い日にどんよりした空から降ってくる」「溶けると水になる」「細かく見ると六角形の結晶になっている」等々といった知識が統合的に構成された概念です。（後の2~3の知識は、感覚経験からは得られず、文化的・言語的な補助がなければ内部モデルに組み込まれにくいかもしれません。犬の内部モデルには統合されていない可能性が大きいでしょう。）
こうした内部モデルは、度重なる雪の経験を通じて学習され、脳の中に定着していきます。そしてそれとともに、雪に対する「驚き」は徐々に小さくなっていくのです。
ではこの驚きを自由エネルギー原理（FEP）の観点で考えてみましょう。FEPは物事を、確率を使って考えます。確率で考えるというのは情報理論の第一歩です。情報理論的に言えば、驚きとは確率が低い事象に出会ったときの感情であり、この感情自体は必ずしもポジティブなものでもネガティブなものでもないニュートラルなものです。
驚きを確率から定義すれば、ある観測結果がどれくらい予測から外れていたかを定量的に測る指標となります。予測から外れるのは、主観的に確率が低いと考えられていた事象だからです。
たとえば、いつも空いていると思っていたカフェが突然満席だったとしたら、私たちは「えっ？」と驚きます。この驚きは、「そんなはずじゃなかった」という予測とのズレに由来します。
あるいは、宝くじに当たったとしたら、それはとても「驚く」出来事だといえるでしょう。なぜなら、宝くじに当たる確率は非常に小さく、そのような低確率の出来事が起きたということは、事前の予測とは大きく食い違っていたということだからです。
驚きの定式化と情報量
驚きは、観測された出来事 o に対する確率 p(o) がどれだけ小さいかによって定義されます。数式で言えば、それは
Surprise=−logp(o)
という形をとります。つまり、ありそうにないことが起きたときほど、驚きは大きくなるのです。
この驚きの量は、情報量（Information Content）とも呼ばれます。これは、ある出来事がどれだけ「予測外」であったかを定量的に示す指標です。直感的に言えば、「まさかそんなことが起きるとは思っていなかった！」という強いリアクションは、まさに情報量の高さを反映しています。
逆に驚きが小さくなるというのは、「その出来事が予想の範囲内に収まるようになってくる」という意味です。情報理論的には、観測される出来事 o の確率 p(o) が高くなり、-log p(o)（驚きの量）が減っていくということです。
前にあげた雪の例では、雪国の人にとっては、冬に雪が降らないことの方が驚きです。
平均的な驚き＝エントロピー
ある出来事ひとつだけでなく、あらゆる可能性を事前に考慮したときの「平均的な驚き」が、エントロピー（entropy）です。
エントロピーは、確率分布の「ばらつき具合」を表します。確率が広く分散している（どれが起きてもおかしくない）場合、エントロピーは高くなります。
たとえば、天気予報が「晴れ80%、曇り10%、雨10%」であれば、私たちは晴れると信じて行動するでしょう。これに対し、「晴れ33%、曇り33%、雨33%」だったらどうでしょうか？ どれが来てもおかしくないので、私たちは傘を持つかどうかで悩みます。情報量の多さが「判断の迷い」を生んでいるのです。逆に言えば、判断に迷うのは情報量が多いからです。
ある意味で、エントロピーとは「どれだけ言い訳が通用するか」という余白の広さとも言えるかもしれません。何が起きても「まあ、ありうるよね」と納得できてしまう状況では、私たちは特定の予測を立てにくくなります。自由エネルギー原理では、このエントロピーの制御こそが、適応的な行動や知覚にとって重要だと考えるのです。
補足：なぜエントロピーは「対数」をとるのか？
エントロピーを定義する際、確率に対して「対数」をとるのは、単なる数学的都合ではありません。それは、情報量（surprise）を足し算できる量として扱うための、非常に自然な選択なのです。
たとえば、2つの独立した出来事 A と B が起きたとき、それぞれの確率を p(A)、p(B)としましょう。このとき、A と B が同時に起きる確率は
p(A and B) = p(A) × p(B)
となります。これに対して情報量 I を対数で定義すると、
I (A and B) = −log (p(A) × p(B)) = −log p(A) − log p(B) = I (A) + I (B)
つまり、「複数の出来事が起きたときの情報量」は、それぞれの出来事の情報量の和として表せるのです。
たとえば、複数の感覚入力が同時に観測されたとき、システム全体の驚きを、個別の驚きの合計で簡単に表現できるようになります。エントロピー（＝平均的な驚き）も、こうした情報量の「足し算」を前提とした期待値で定義されるため、対数の導入は欠かせません。
情報理論的には、対数をとることで、「確率空間でのかけ算の世界」を「情報空間での足し算の世界」へと写像しているのです。これはちょうど、非線形な現象を線形な方法で扱えるようにする、数学的なレンズ（変換器、計算尺）のようなものだと考えることができます。
次章へのつながり
次章では、自由エネルギーを構成するもう一つの項であるズレについて考えていきます。
