2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

@ochimusha01(yasunori matuki)

【数孊溢れ話】【Token】盞関係数(Correlation Coefficient)ず線圢回垰(Linear Regression)

2
Last updated at Posted at 2024-03-06

以前の投皿では、䞎えられた2点の盞加平均(Arithmetic Mean)$\frac{a+b}{2}$ず盞乗平均(Geometric mean)$\sqrt{ab}$を求め耇玠円筒座暙系を始める方法を詊みたした。
【Token】物理孊ず数孊の接点に぀いお。
image.png
68747470733a2f2f63646e2d616b2e662e73742d686174656e612e636f6d2f696d616765732f666f746f6c6966652f6f2f6f6368696d7573686130312f32303231303431312f32303231303431313232343630352e676966.gif

この耇玠円筒座暙系$±i^{1-cos(Ξ)}(0≊Ξ≊π)$は、以䞋の様な考え方を導入する事により角床の抂念も扱う事が出来たす。
image.png

耇玠円筒座暙系における盞関係数ず線圢回垰

ここで埗られた偏差(-1+1i,+1+1i)にた぀わる統蚈デヌタをさらに集めおみたしょう。
行列挔算の基本④倧源流における蚘述統蚈孊ずの密接な関連性?
スクリヌンショット 2024-03-06 17.13.13.png
実数郚平均$\bar{R}$も虚数郚平均$\bar{I}$も0ずしお、暙本分散(Sample Variance)$S_R^2,S_I^2$ず暙本共分散(Sample Covariance)$S_{RI}$に぀いお 

S_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n}=\frac{(-1)^2+(+1)^2}{2}=\frac{2}{2}=1

S_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n}=\frac{(-1)^2+(+1)^2}{2}=\frac{2}{2}=1

S_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n}=\frac{(-1)(-1)+(+1)(+1)}{2}=\frac{2}{2}=1

䞍偏分散(Unbiased Dispersion)$s_R^2,s_I^2$おず䞍偏共分散(Unbiased
Covariance)$s_{RI}$は 

s_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n-1}=\frac{(-1)^2+(+1)^2}{2-1}=\frac{2}{1}=2

s_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n-1}=\frac{(-1)^2+(+1)^2}{2-1}=\frac{2}{1}=2

s_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n-1}=\frac{(-1)(-1)+(+1)(+1)}{2-1}=\frac{2}{1}=2

抂ねサンプル数3000以䞊でその差を意識する必芁がなくなるずされおいる暙本分散ず䞍偏分散ですが、デヌタ数2の時にはこんな颚に「単䜍円の半埄ず盎埄2」くらい激烈な珟れ方をするのですね。
【初心者向け】暙本分散ず䞍偏分散

それでは盞関係数(Correlation Coefficient)rを求めおみたしょう。
どうしお盞関係数の蚘号はrなのか

たずは暙本分散で蚈算した堎合 

r=\frac{S_{IR}}{\sqrt{S_R^2}\sqrt{S_I^2}}=\frac{1}{\sqrt{1}\sqrt{1}}=\frac{1}{1}=1

次いで䞍偏分散で蚈算した堎合 

r=\frac{s_{RI}}{\sqrt{s_R^2}\sqrt{s_I^2}}=\frac{2}{\sqrt{2}\sqrt{2}}=\frac{2}{2}=1

今床は線型方皋匏$y=a_Rx+b_R,x=a_Iy+b_I$の、切片$b_R,b_I$は共に0ずしお傟き$a_R,a_I$を求めおみたす。暙本共分散で蚈算した堎合 

a_R=\frac{S_{RI}}{S_R^2}=\frac{1}{1}=1

a_I=\frac{S_{RI}}{S_I^2}=\frac{1}{1}=1

䞍偏共分散で蚈算した堎合 

a_R=\frac{s_{RI}}{s_R^2}=\frac{2}{2}=1

a_I=\frac{s_{RI}}{s_I^2}=\frac{2}{2}=1

どちらの蚈算でも分子ず分母で打ち消し合うので特に違いは珟れたせん。これくらいデヌタが単玔だず「盞関係数1,線型方皋匏y=ax+bのa=1,b=0」は蚈算するたでもなく䞞わかりですが、あえお蚈算するずこういう感じになるずいう話 

耇玠円錐座暙系における盞関係数ず線圢回垰

今床は二項の実数郚ず虚数郚の笊号を互い違いにしおみたしょう。
スクリヌンショット 2024-03-06 17.13.36.png

これは円錐座暙系䞊における半回転に該圓したす。
【Token】反比䟋関数ず指数察数関数の回転
68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3539373737322f62396536303036612d333233302d383863332d373461632d6661623733646630366562642e676966.gif
68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3539373737322f66363835366563312d633138642d656265322d623766312d3239633262303035333237352e676966.gif
68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3539373737322f30623862653663622d376164342d363838652d383630612d3331383637383736386232612e676966.gif

  • なお盞関係数は「二぀の円筒座暙系を盎亀させ(仮にx軞,y軞ず呌ぶ)、そこに珟れる楕円断面の回転を第䞉の盎亀軞から芳察する堎合の射圱」ずも芏定出来たりする。この堎合、z軞ずy軞の盎亀を前提に回転するX軞は①断面が線型に芳察される時はz軞ず盎亀。②真円状に芳察される時はz軞ずぎったり重なり合っおいる。
    024.gif
  • その䞀方で、かかる楕円ず円錐の接線から垂盎に䌞ばされた軌跡は「円錐曲線の数理」に埓っお攟物線を描く。
    【Token】円錐座暙系
    023.gif

それでは実際の蚈算に入りたしょう。

こちらも実数郚平均$\bar{R}$も虚数郚平均$\bar{I}$も0ずしお、暙本分散$S_R^2,S_I^2$ず暙本共分散$S_{RI}$は 

S_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n}=\frac{(-1)^2+(+1)^2}{2}=\frac{2}{2}=1

S_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n}=\frac{(+1)^2+(-1)^2}{2}=\frac{2}{2}=1

S_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n}=\frac{(-1)(+1)+(+1)(-1)}{2}=\frac{-2}{2}=-1

䞍偏分散$s_R^2,s_I^2$ず䞍偏共分散$s_{RI}$は 

s_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n-1}=\frac{(-1)^2+(+1)^2}{2-1}=\frac{2}{1}=2

s_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n-1}=\frac{(+1)^2+(-1)^2}{2-1}=\frac{2}{1}=2

s_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n-1}=\frac{(-1)(+1)+(+1)(-1)}{2-1}=\frac{-2}{1}=-2

盞関係数rを暙本共分散で蚈算した堎合 

r=\frac{S_{IR}}{\sqrt{S_R^2}\sqrt{S_I^2}}=\frac{1}{\sqrt{1}\sqrt{1}}=\frac{-1}{1}=-1

䞍偏共分散で蚈算した堎合 

r=\frac{s_{RI}}{\sqrt{s_R^2}\sqrt{s_I^2}}=\frac{2}{\sqrt{2}\sqrt{2}}=\frac{-2}{2}=-1

線型方皋匏$y=a_Rx+b_R,x=a_Iy+b_I$に぀いお、切片$b_R,b_I$は共に0ずしおその傟き$a_R,a_I$を暙本共分散で蚈算した堎合 

a_R=\frac{S_{RI}}{S_R^2}=\frac{-1}{1}=-1

a_I=\frac{S_{RI}}{S_I^2}=\frac{-1}{1}=-1

䞍偏共分散で蚈算した堎合 

a_R=\frac{s_{RI}}{s_R^2}=\frac{-2}{2}=-1

a_I=\frac{s_{RI}}{s_I^2}=\frac{-2}{2}=-1

そもそも盞関係数rや線型方皋匏$y=a_xx+b_x,x=a_yy+b_y$の傟き$a_x,a_y$の倀が負ずなる時には、共分散の倀が負ずなっおいるのですね。

「傟き」抂念の導入

これたでのデヌタが-1を掛けおも(xずyを入れ替えおも)結果が倉わらなかったのは「傟き1」だったからです(実は芋た目に珟れないだけで立拠する円筒座暙系も盎亀するそれに掚移)。
【Token】線圢関数ず反比䟋関数の連続性
022.gif

この蟺りの話は「底がネむピア数e(2.718282
)の指数関数は埮積分しおも圢が倉わらない」話ず密接な関係がありたす。芁するに加法矀(線型方皋匏y=ax)における「傟き」　に察応するのが乗法矀(指数・察数関数)におけるネむピア数e(2.718282
)なのです。
【Token】ネむピア数

  • 指数関数$a^x$の指数写像は、たず底の倉換公匏$a^x=e^{log(a)x}$を䜿っおlog(a)x。したがっお底がネむピア数e(2.718282
)の堎合の指数写像は「傟き1」ずなる。
  • 指数関数$a^x$を埮分するず$log(a)a^x$、積分するず$\frac{a^x}{log(a)}+C$.したがっお底がネむピア数e(2.718282
)の堎合、埮分の結果も積分の結果も$e^x(+C)$ずなる。

スクリヌンショット 2024-03-06 17.14.13.png

こちらも実数郚平均$\bar{R}$も虚数郚平均$\bar{I}$も0ずしお、暙本分散$S_R^2,S_I^2$ず暙本共分散$S_{RI}$は 

S_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n}=\frac{(-\frac{1}{2})^2+(+\frac{1}{2})^2}{2}=\frac{\frac{1}{2}}{2}=+\frac{1}{4}

S_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n}=\frac{(-1)^2+(+1)^2}{2}=\frac{2}{2}=+1

S_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n}=\frac{(-\frac{1}{2})(-1)+(+\frac{1}{2})(+1)}{2}=+\frac{1}{2}

䞍偏分散$s_R^2,s_I^2$ず䞍偏共分散$s_{RI}$は 

s_R^2=\frac{\sum_{n=1}^{2}(Ri-\bar{R})^2}{n-1}=\frac{(-\frac{1}{2})^2+(+\frac{1}{2})^2}{2-1}=\frac{\frac{1}{2}}{1}=+\frac{1}{2}

s_I^2=\frac{\sum_{n=1}^{2}(Ii-\bar{I})^2}{n-1}=\frac{(+1)^2+(-1)^2}{2-1}=\frac{2}{1}=+2

s_{RI}=\frac{\sum_{n=1}^{2}(Ii-\bar{I})(Ri-\bar{R})}{n-1}=\frac{(-\frac{1}{2})(-1)+(+\frac{1}{2})(+1)}{2-1}=\frac{1}{1}=+1

盞関係数rを暙本共分散で蚈算した堎合 

r=\frac{S_{IR}}{\sqrt{S_R^2}\sqrt{S_I^2}}=\frac{\frac{1}{2}}{\sqrt{1}\sqrt{\frac{1}{4}}}=\frac{\frac{1}{2}}{\frac{1}{2}}=1

䞍偏共分散で蚈算した堎合 

r=\frac{s_{RI}}{\sqrt{s_R^2}\sqrt{s_I^2}}=\frac{1}{\sqrt{2}\sqrt{\frac{1}{2}}}=\frac{1}{1}=+1

線型方皋匏$y=a_Rx+b_R,x=a_Ry+b_I$に぀いお、切片$b_R,b_I$は共に0ずしおその傟き$a_R,a_I$を暙本共分散で蚈算した堎合 

a_R=\frac{S_{RI}}{S_R^2}=\frac{\frac{1}{2}}{\frac{1}{4}}=\frac{4}{2}=+2

a_I=\frac{S_{RI}}{S_I^2}=\frac{\frac{1}{2}}{1}=+\frac{1}{2}

䞍偏共分散で蚈算した堎合 

a_R=\frac{s_{RI}}{s_R^2}=\frac{1}{\frac{1}{2}}=+2

a_I=\frac{s_{RI}}{s_I^2}=\frac{1}{2}=+\frac{1}{2}

なるほど①盞関係数は「氎平軞の傟き成分」ず「垂盎軞の傟き成分(前者の逆数)」を掛け合わせお陀去した残差。②逆に線型方皋匏y=ax+bの傟きを取り出す際には片方の成分だけ陀去する、基本的にそういう考え方なのですね。

䞍偏掚定量をめぐる諞問題

するず、もしかしたら暙準化措眮(Standardization)$\frac{x-\bar{x}}{σ}$を斜すず「傟き成分」は消えおしたうのでは
6-2. デヌタを暙準化しおみよう

䞊掲の「傟き」のデヌタで詊しおみたしょう。たず暙本分散を甚いお暙準化された実数郚$StR$ず虚数郚$StI$を求め、その共分散$S_{StRStI}$を導出したす。

こちらも実数郚平均$\bar{R}$も虚数郚平均$\bar{I}$も0ずしお、暙本分散$S_R^2,S_I^2$ず暙本共分散$S_{RI}$は 

StR=\frac{R-\bar{R}}{\sqrt{S_R^2}}=\frac{(-\frac{1}{2},+\frac{1}{2})}{\sqrt{\frac{1}{4}}=\frac{1}{2}}=(-1,+1)

StI=\frac{I-\bar{I}}{\sqrt{S_I^2}}=\frac{(-1,+1)}{\sqrt{1}=1}=(-1,+1)

S_{StRStI}=\frac{\sum_{n=1}^{2}StR*StI}{n}=\frac{(-1)(-1)+(+1)(+1)}{2}=\frac{2}{2}=+1

たず次いで分散を甚いお暙準化された実数郚$stR$ず虚数郚$stI$を求め、その共分散$S_{stRstI}$を導出したす。

stR=\frac{R-\bar{R}}{\sqrt{s_R^2}}=\frac{(-\frac{1}{2},+\frac{1}{2})}{\sqrt{\frac{1}{2}}=\frac{1}{\sqrt{2}}}=(-\sqrt{2},+\sqrt{2})

stI=\frac{I-\bar{I}}{\sqrt{s_I^2}}=\frac{(-1,+1)}{\sqrt{2}}=(-\frac{1}{\sqrt{2}},+\frac{1}{\sqrt{2}})

s_{stRstI}=\frac{\sum_{n=1}^{2}stR*stI}{n-1}=\frac{(-\sqrt{2})(-\frac{1}{\sqrt{2}})+(+\sqrt{2})(+\frac{1}{\sqrt{2}})}{1}=\frac{2}{1}=+2

盞関係数rを暙本共分散で蚈算した堎合 

r=\frac{S_{StRStI}}{\sqrt{S_R^2}\sqrt{S_I^2}}=\frac{1}{\sqrt{1}\sqrt{\frac{1}{4}}}=\frac{1}{\frac{1}{2}}=+2

䞍偏共分散で蚈算した堎合 

r=\frac{s_{stRstI}}{\sqrt{s_R^2}\sqrt{s_I^2}}=\frac{2}{\sqrt{\frac{1}{2}}\sqrt{2}}=\frac{2}{1}=+2

線型方皋匏$y=a_Rx+b_R,x=a_Ry+b_I$に぀いお、切片$b_R,b_I$は共に0ずしおその傟き$a_R,a_I$を暙本共分散で蚈算した堎合 

a_R=\frac{S_{StRStI}}{S_R^2}=\frac{1}{\frac{1}{4}}=\frac{4}{1}=+4

a_I=\frac{S_{StRStI}}{S_I^2}=\frac{1}{1}=+1

䞍偏共分散で蚈算した堎合 

a_R=\frac{s_{stRstI}}{s_R^2}=\frac{2}{\frac{1}{2}}=+4

a_I=\frac{s_{stRstI}}{s_I^2}=\frac{2}{2}=+1

どうしおこんなにも悲惚な結末に(涙)

  • たず倧前提ずしお「暙準化されたデヌタは傟きに぀いおの情報を倱う」ずいう考え方自䜓は間違っおいない様である。䞊の蚈算でも暙本分散を巡る途䞊でStR=(-1,+1),StI=(-1,+1)ず倉換されおおり、このデヌタから出発するず䞀番最初の蚈算の様に「暙本共分散=1,盞関係数1,傟き1」ずしかなり埗ない。暙準化そのものが「デヌタセットを平均0,分散1に揃える操䜜」なのだからこれ自䜓はもう自明の堎合ずいっおよかろう。芁するに䞊の蚈算はたず「以降も倉換前の分散を䜿い続けようずした」点に問題があった蚳であった。
  • 「䞍偏暙準偏差」に぀いおはその理解からしお間違っおいお、それは「(単䞀芳枬デヌタの)分散そのもの」ではなく「(耇数の芳枬デヌタの)分散のバラツキ具合の掚定」に䜿うものなので、こういう「平均が確実に分かっおる堎合」に䜿冪ものではなかった様である。
    暙本分散ず暙本䞍偏分散,nで割るかn-1で割るか,䞍偏暙準偏差の話題も含めお

母平均は母集団分垃の䜍眮を衚す母数だがこれは最䜎限ずしお誀差は最倧になるが枬定倀個からなる暙本n=1で足りる。ネズミずゟりの䜓重を比べる時最䜎ひず぀の枬定倀があれば非垞に倧雑把だがこれらの生物の䜓重を掚枬し比范できる。だから暙本平均では分母nずしお母平均が求められる。n=0 は駄目だがn−1 ならば「自由に」䜿えるのである。それを分母で衚珟しおいる。

䞀方バラツキの母数である母分散は䞀぀の枬定倀では掚定できない。䟋えばA 組のある生埒人の䜓重が 50kgB 組のある生埒人の䜓重が 60kg であったずしおどちらの組の生埒の䜓重がバラツキが倧きいかず問われおもさっぱりわからない。この堎合䜓重のバラツキを掚定しようずしたら最䜎限もうひず぀぀たり各組2人ず぀の枬定倀が必芁だず分かる。これが母分散を求めるずきの自由床n−1 に぀ながる。n=1では䞍可分母が0になるn≥2ならば自由に䜿えるずいうこずを分母で瀺しおいる。

蚈算的には暙準誀差Standard Error、より厳密には平均の暙準誀差Standard Error of the Mean, SEMの抂念から出発する様です。nを暙本サむズ(芳枬回数)ずしお 

SE=\sqrt{\frac{σ^2}{n}}=\frac{σ}{\sqrt{n}}

この分垃は、暙本サむズが倧きくなるほど䞭心極限定理によっお次第に正芏分垃に近づき、その様子は以䞋の匏で衚されたす。母分散$σ^2$に぀いお、暙本分散$s^2$の平均$\bar{S^2}$ず暙本平均の分散$\frac{σ^2}{n}$を甚いお説明を詊みるなら 

\lim_{n→∞}\bar{S^2}+\frac{σ^2}{n}=σ^2

この匏を倉圢するず「n-1」が珟れたす。

\bar{S^2}=(1-\frac{1}{n})σ^2=\frac{n-1}{n}σ^2

䞡蟺に$\frac{n-1}{n}$を乗ずるず 

\frac{n-1}{n}\bar{S^2}=σ^2

ずころで暙本分散の蚈算匏は以䞋なので 

S^2=\sum_{i=1}^n\frac{(X-\bar{X})^2}{n}

これに$\frac{n-1}{n}$を乗ずるず、やっず芋慣れた匏圢に到達する蚳です。

s^2=\frac{n-1}{n}S^2=\sum_{i=1}^n\frac{(X-\bar{X})^2}{n-1}

ずころで、これたで行っおきた蚈算は「(耇数の芳枬デヌタの)分散のバラツキ具合の掚定」を想定しおおらず、暗黙理にそこは「1」ずしお蚈算しおきたした。だから暙本分散を䜿った蚈算の方が通ったずいう次第 

こうしおなんずか以䞋の線型結合匏が芋えおきたした。

芳枬デヌタ=(
,募配*暙準化されたデヌタ間の盞関係数,
)

それに぀けおも䜕故2乗? 偏差がそのたた合蚈するず±0になっおしたう問題なら、絶察倀を取っおもいい筈で、実際そういう研究もあったりしたす。
平均(Mean)ず暙準偏差、䞭倮倀ず平均偏差

この話、最小二乗法のの発案者候補者にしお尀床(likelihood)抂念の発案者でもある数聖ガりス(Carolus Fridericus Gauss、1777幎~1855幎)が誀差関数発明に際しお 

  • 小さな誀差ほど比范的芳枬され易い。
  • 倧きな誀差ほど比范的芳枬され難い。
  • 埓っお、䞀定以䞊の誀差を切り捚おる事によっお芳枬粟床(Observation Accuracy)を確定する事が出来る筈である。

なるアむディアを匏圢$\frac{1}{\sqrt{π}}\int_{n=-∞}^{+∞}e^{-x^2}$ず衚珟した時点にたで遡る蚳ですが 
誀差関数ず盞補誀差関数

数聖ガりスが同時に耇玠平面抂念の発案者候補者にも名前を連ねおおり、耇玠平面䞊でなら誰でも容易に$1=-i^2$なる倉換を誰にでも思い぀ける蟺りから話がややこしくなっおきたす。
スクリヌンショット 2024-03-09 20.24.42.png
たぁこの匏を思い぀いただけではどうしようもなく、その面積を求め、それで割る事によっお「面積1の確率空間」を珟出させた事にこそ、圌の倩才性があった蚳ですが。
ガりス積分の公匏の通りの蚌明

もちろん䞭心極限定理の抂念自䜓はそれ以前たで遡り、ガりスがこの匏圢を䞎え「ガりス分垃」なる呌称が定たる以前も以降もそれは自然芳察のあらゆる堎面に珟れる事実は揺らぎたせん。この時圌が発衚した仮説の本質はあくたで「誀差もガりス分垃する」ずいう内容で、しかもその正さはたちたち膚倧な実蚌デヌタによっお裏付けられる結果ずなったのです。
17-3. 䞭心極限定理1

耇玠数空間にようこそ

今から思えば私が「正比䟋関数ず反比䟋関数の連続性」の件や 
【Token】反比䟋関数ず指数察数関数の回転
68747470733a2f2f63646e2d616b2e662e73742d686174656e612e636f6d2f696d616765732f666f746f6c6966652f6f2f6f6368696d7573686130312f32303231313030322f32303231313030323034343830362e676966.gif
「反比䟋関数ず双曲線関数の連続性」の件や 
【Token】二次元方県/耇玠平面に埋め蟌たれた2^(1/2)螺旋
image.png
「盞関係数の図瀺化」の件に取り組んできたのは 
024.gif
みんなそれを連続挔算で結ばれた䞀぀の倚様䜓ずしお衚珟したいずいう最終意図実珟の為でした。
スクリヌンショット 2024-03-09 23.08.42.png
その鍵を握るのが円錐曲線である事も浮かび䞊がっおきたした。
【Token】円錐座暙系
023.gif
スクリヌンショット 2024-03-09 20.43.20.png
ここで興味深いのが「傟き」の座暙䞊での衚し方には「x=9ずy=0の察」ず「y=xずy=-xの察」の蓋通りあり、円錐曲線においおはその組み合わせによっお断面が「円」ずも「攟物線」ずもなり埗る蟺り。
スクリヌンショット 2024-03-11 5.53.52.png
なんずかそこたで蟿り着いた時点で以䞋続報 

【远蚘1】「欲しかった答え」ぞの「欲しかった圢」での到達

「叩けよ、さらば開かん」ずいいたすが、ここたで問題意識を煮詰めおやっず次の段階に進む事が出来たした。鍵は「統蚈蚈算から行列蚈算に」「数孊問題から物理問題ぞ」頭を切り替える事だったのです。

なんず、私が突き圓たっおいたのは「受隓問題には解けない問題があっおはならない受隓数孊の壁」だったのです。たさにこの話題こそが機械孊習理論ぞの入り口だずいうのに!!
マンガ 線圢代数入門
IMG_7297.jpeg

そしおここでも「結果が線圢方皋匏ずなる事が芳枬的に確かめられる抵抗倀の性質」が重芁な理解の助けに。ずどの぀たり珟実䞖界にはかくも容易く「代数的に解くには匏が倚過ぎる(線圢代数を駆䜿しおおも近䌌しか出来ない)連立方皋匏」が顕珟し、それを解く為に開発された様々な技法が最終的に機械孊習論に集玄されおきた蚳です。䜕たる孊習モチベヌションの源泉‌ 日本の未来の為にも、この考え方に是非広たっお頂きたい 
倧孊物理のフットノヌト オヌムの法則

そういえば人類が最小二乗法の抂念に到達したのも地球の倧きさを枬ろうずしたのが契機でした。
地球の倧きさず最小2乗法

しかも歎史のその時点ではルシャンドルやガりスの様な数孊的倩才だけに到達を蚱された領域を(しかも、かの「数聖」ガりスでさえ最初は埌出しゞャンケンっぜい関わり方しか出来なかった感がある)、誰もが気軜に远詊可胜な圢に敎備したのが(分散抂念に立脚する)統蚈孊や(数字の察角配眮を重芖する)行列挔算の発明だったずいう事は「数孊の枠組みだけで考えおいおは、数孊の党䜓像は分からない」ずいう困った話に。

【远蚘2】ずりあえず党䜓像のたずめなおし。

こうしお党䜓像を俯瞰しおみるず、盞関係数の正䜓はどうやら、以䞋の耇玠円錐座暙系の「実数郚のみの流甚」ずいう蟺りに話が萜ち着きそうですね。
スクリヌンショット 2024-03-23 7.36.12.png
電気工孊分野での虚数の利甚法ず䌌おいたす。芁するに「高次元抂念を導入したいが、わざわざ次元拡匵するたでもない(迂闊に次元拡匵するず問題解決が倉な方向に耇雑化する)」ケヌスで有効なアプロヌチずいう次第。
電気の亀流では䜕故虚数が必芁なのですか - OKWave

X軞でなくY軞を実数郚に射圱しおも結果は倉わりたせん。ずいうより、自然に考えるず 

  • 傟きが1以䞋の堎合は(x軞に沿った)暪回転の円錐座暙系が遞ばれる。
  • 傟きが1以䞊の堎合は(y軞に沿った)瞊回転の円錐座暙系が遞ばれる。

そういう振り分けになる感じ
image.png
X座暙軞ずY座暙軞の亀換は耇玠座暙系における実数郚ず虚数郚の亀換に該圓したす。぀たりこの方法もたた「(3次元空間に3察セットで配眮される)円錐座暙系を乗り換え」に察応する蚳です。
022.gif
平面で考える限り、こうした次元操䜜の違いは衚面化しおきたせんが(xy=yx、いわゆる「可換性」の正䜓)、䞉次元で考えた堎合「(3次元空間に3察セットで配眮される円錐座暙系の)3番目の円錐座暙系」ずの笊号関係の逆転が生じたす。ここでi軞、j軞、k軞を䞭心ずするずする3察の耇玠円筒/円錐座暙系の関係に目を向けるず 

ij=k,ji=-k,jk=i,kj=-i,ki=j,jk=-j

たさしく「ハミルトンの四元数(Hamilton's quaternion)」そのものの振る舞い。
【Token】「ハミルトンの四元数」
【Token】屋根掛け法
突然話がややこしくなっおきたすが、「実数郚しか䜿わない」事によっお、こうした「操䜜䞊の煩雑さの発生」に察しお隔壁を萜ずす蚳です。その䞀方で盞関係数を「そういうもの」ず定矩しおしたうず、残りの郚分は吃驚するほど単玔化されるのです。たずは䞊掲の盞関係数蚈算過皋 
image.png
次いで最小二乗法による傟きの取埗過皋。2デヌタの暙準偏差比は、䞡デヌタの盞関係数が±1の時に傟きそのものですが、盞関係数の絶察倀が䞋がる郜床目枛りしお、盞関係数0の時は傟きも必ず0になっおしたいたす。
image.png
そしおデヌタ暙準化の圱響。傟き情報を攟棄した結果、共分散がそのたた盞関係数に。
image.png
ずどの぀たり 

  • 2デヌタの暙準偏差比は、䞡デヌタの盞関係数が±1の時に傟きそのものずなる(盞関係数の絶察倀が䞋がる郜床目枛りしお、盞関係数0の時は傟きも必ず0になっおしたう)→「先に盞関係数が十分倧きい事を確認しおからでないず、最小二乗法で傟きや切片を求める意味はない」経隓則の数匏衚珟。
    最小二乗法①数孊的性質
    *　この範囲の蚈算自䜓は(掚枬統蚈抂念を特城づける)正芏分垃抂念などに党く䟝存しない。すなわち完党に蚘述統蚈抂念の䞭で完結しおいる→最小二乗法は倖れ倀に極めお匱く、これを陀去する為に誀差関数抂念を導入しお以降が掚枬統蚈抂念の䞖界ずなる。
    【Token】「䜕も起こっおない」ディフォルト状態ずしおの正芏分垃
    *　 逆をいえば、この範囲の蚈算内には「偏差を単玔合蚈しただけでは総和が0になっおしたう」問題を解決するのに、どうしお(絶察倀などではなく)二乗するのか　 ずいう質問ぞの答えもたた含たれおいないずいう事になる。
    【初心者向け】平均ず暙準偏差、䞭倮倀ず平均偏差

いっちゃなんですが、党おの混乱の倧元は「ガりスが誀差関数抂念を発芋した時点では、ハミルトンの四元数抂念も分散抂念も未発芋だった」事にあるのではないでしょうか。圓時の行列挔算抂念はただただ発展途䞊だったので、単䜍元抂念の自然な拡匵ずしお以䞋の様な簡朔かく的確なむメヌゞを思い浮かべる事が出来なかったのです。
盞関行列の定矩ず分散共分散行列ずの関係
アフィン倉換平行移動、拡倧瞮小、回転、スキュヌ行列

単䜍元\begin{pmatrix}
    1 & 0 \\
0 & 1 \\
\end{pmatrix}→
盞関行列\begin{pmatrix}
    1 & r(R,I) \\
r(R,I) & 1 \\
\end{pmatrix}

「傟き」抂念の同時座暙系衚珟\begin{pmatrix}
    Δx & 0 & 0\\
    0 & Δy & 0\\
0 & 0 & 1\\
\end{pmatrix}

盞関行列ず分散共分散行列の関係\begin{pmatrix}
    1 & r(R,I) \\
r(R,I) & 1 \\
\end{pmatrix}
=\begin{pmatrix}
    \frac{1}{σ_R} & 0 \\
0 & \frac{1}{σ_I} \\
\end{pmatrix}
\begin{pmatrix}
    σ_R^2 & Cov(R,I) \\
Cov(R,I) & σ_I^2 \\
\end{pmatrix}
\begin{pmatrix}
    \frac{1}{σ_R} & 0 \\
0 & \frac{1}{σ_I} \\
\end{pmatrix}

時の流れずは、かくも残酷なもの 
晩幎のガりス
最小二乗法の今ず昔
ここたで話が進んだ時点で、改めお以䞋続報 

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?