【数理最適化への道】ミクロ経済学は数学でなく物理学？

数理最適化(Mathematical Optimization)というとオペレーション・リサーチ分野やコンピューター数学の領域の用語と思われがちですが、元来は物理学用語であり、最近は人工知能分野において欠かせない重要要素。

例えば確率的勾配降下法(SGD=Stochastic Gradient Descent）や…

• 局所最適解に陥りやすい「最急降下法(Gradient Descent)」の改良版。

変分法(Variational Calculus)の領域など。

導入する素数は少なければ少ない方がいい？

まずは以前の投稿内容の再確認。

①宇宙際タイヒミュラー理論によれば、数理の世界は導入した素数の数だけ複雑さを増していく事になる。その反面、人類の多くは(10進数における「素数５」の導入といった例外を除き)「素数2」「素数3」程度の導入で満足している。またネイピア数e(2.71828182846)進数と呼ぶべき系列も存在。

• 「２のみ素数を導入した」実例としては「パスカルの三角形(二項定理)」あたりが代表格。

②カンブリア爆発期に獲得した視覚情報を処理する脊髄の延長線上で思考する人類は、その洞察力と思惟力が三次元以上の世界に踏み込むとガクンと落ちる。

③物理学分野でも容易に扱えるのは二体問題までで、三体問題に一般解は存在しない。

• カオス理論の始まり？

④ミクロ経済学が同時に扱うのは主に二財まで。

⑤集合論に登場するベン図は原則として３集合以上を扱えない。

⑥線形代数で用いる「サラスの方法」が扱えるのも原則として３次元まで。

⑦「その思考が人間には全く理解できない知的生命体」を表現するあたり、ウェルズ「宇宙戦争」は「三眼」を、J.P.ラブクラフト「狂気の山脈」は「ヒトデの様に五方に伸びた頭部を」、テッド・チャン「あなたの人生の物語」は「７本脚」を与えた。

なお③と④の間には密接な関係が。そう「(貯蓄など一切考えず)全財産を特定の財に注ぎ込む事こそが最大幸福」とされるオタクめいたミクロ経済における消費者モデルの特徴は物理学、それもとりわけ光学における光の振る舞いそのもの。そしてそこでいう「効用最大化」とは屈折の原理における「スネルの定理」に他ならないのです。

変分法(Variational Calculus)への道

それでは「スネルの法則」とは何ぞや？

$$\frac{\sin \theta_1}{\sin \theta_2} = \frac{v_1}{v_2} = n_{21}$$

ここで：
⚫︎$\theta_1$：入射角
⚫︎$\theta_2$：屈折角
⚫︎$v_1, v_2$：それぞれの媒質中の光速度
⚫︎$n_{21}$：屈折率

⚫︎ 媒質1：速度$v_1$
⚫︎媒質2：速度$v_2$

2点間を通る経路の中で、全体の移動時間を$T = \frac{L_1}{v_1} + \frac{L_2}{v_2}$と書き、これが**極小（最小）**になるような経路を求める。これを極値問題として解くと、

$$\frac{\sin \theta_1}{v_1} = \frac{\sin \theta_2}{v_2}$$

すなわちスネルの法則が得られる。

まずはよく「理解を助ける実例」として持ち出される「ライフセイバー問題」について。

ライフセイバー問題

これは結局、上掲の「光の屈折問題」と同じ内容です。

ここで「単位時間1」辺りの「単位距離1」について速度比の推移で考えてみる事にしましょう。

速度比1:0($1:\frac{1}{∞}$)から速度比0:1($\frac{1}{∞}:1$)への推移。

なんだか軌道変化の数理がLp空間論めいてきましたね。こちらは「全地点で勾配が一致する制限下、どれくらいその直線は曲がるものか？」調べる感じのアプローチ。

人工知能アルゴリズム系だとモンテカルロ法と組み合わせて積分面積の調整に使われてたりします。

• 一般に「Lpノルム(Lp-Norm)=ユークリッド距離の計算式$\sqrt{x^2+b^2}$の一般化」と言い慣わされている。

• あるベクトル（または関数）$x = (x_1, x_2, \dots, x_n)$に対し、pノルム（Lpノルム）は以下の式で定義される：

$$\|x\|_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{1/p} \quad (1 \le p < \infty)$$

• 無限次元（関数空間）の場合は積分形に一般化される：

$$\|x\|_p​=(\int|f(x)|^pdx)^{1/p}$$

🧭 歴史的背景

◉ 起源：積分の一般化（19世紀）

• 19世紀末～20世紀初頭、関数空間の「ノルム化」が関心の対象に。

• アンリ・ルベーグ（Henri Lebesgue）の積分理論（1902年）により、関数の「大きさ」を測る枠組みが整備される。

• この流れの中で、関数fに対して「$\int |f|^p$ が有限であるような関数全体」の空間 $L^p$ が定義される。

◉ フリッツ・ヨン（Fritz John）とネルソン・ダンフォード（Nelson Dunford）ら

• 20世紀半ば、バナッハ空間やヒルベルト空間といった関数空間論が体系化される中で $L^p$ 空間が中心的な役割を担う。

◉ 機能解析とともに発展

• $L^p$ 空間が関数解析、偏微分方程式、確率論、統計学、信号処理など、多岐にわたって応用される様に。

• 特に$L^2$空間は内積空間（ヒルベルト空間）でもあるため、量子力学やフーリエ解析にとって極めて重要。

応用分野

• 機械学習（MSE, MAEなどの誤差関数）…$L^1$, $L^2$

• スパース学習(ラッソ回帰など)…$L^1$

• 数値解析(安定性・収束解析)$L^p$ 全般

• 物理・工学(エネルギー評価、最適制御)…$L^2$, $L^\infty$

• 画像処理ノイズ除去やエッジ検出$L^1$, $L^2$

なお「L1最適化」「L2最適化」なる概念が存在する機械学習分野ではLPノルムの番号付けが１個ずれる様です。

$$L_p=\left[\sum_{i=1}^n |x_i|^p\right]^{\frac{1}{p}}={}^{\frac{1}{p}}\sqrt{|x_1|^p+|x_2|^p+\cdots+|x_n|^p}$$

気になったのが「計算上「逆」円軌道になる」$p=\frac{1}{1.782273}(=0.561081276)$がネットで検索する限り世界中のあちこちで使われているにも関わらず特定の名前を与えられてない事。まぁあまり使い道はないのかもしれませんが「理屈なんて飛び越して計算結果はこの数字(曲線)に収束していくよ」という辺り数理最適化の本懐という気がしてならないのです。

ミクロ経済学における「変分原理」？

「スネルの法則」とは要するに対角線問題ですが、物理学のそれがユークリッド距離$\sqrt{x^2+y^2}$なのに対してミクロ経済学におけるそれがマンハッタン距離$x+y$なのが要注意。

少しは数理最適化(Mathematical Optimization)とは何か感覚的に掴めてきたでしょうか？ そんな感じで以下続報…