最小二乗法の尤もらしさ
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/09/19 08:12 UTC 版)
「非線形最小二乗法」の記事における「最小二乗法の尤もらしさ」の解説
最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する。すなわち、残差 r i {\displaystyle {\boldsymbol {r_{i}}}} それぞれが、期待値 0 {\displaystyle {\boldsymbol {0}}} 、標準偏差 σ i {\displaystyle {\boldsymbol {\sigma _{i}}}} の正規分布に従う確率変数であり、かつ、 r i {\displaystyle r_{i}} からなる確率変数の族は、独立試行と考え、確率論を援用する。 仮定より、残差 r i {\displaystyle r_{i}} それぞれは、いずれも、期待値 0 {\displaystyle 0} 、標準偏差 σ i {\displaystyle \sigma _{i}} の正規分布に従うため、あるデータセット ( x i , y i ) {\displaystyle (x_{i},y_{i})} において、その測定値が y i {\displaystyle y_{i}} となる確率 P ( y i ) {\displaystyle P(y_{i})} は、 P ( y i ) = 1 σ 2 π exp ( − r i 2 2 σ 2 ) {\displaystyle {P}({y}_{i})={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {{r}_{i}^{2}}{2\sigma ^{2}}}\right)} (2-1) となる。 今、データの測定は（数学的に言えば残差 r i {\displaystyle {\boldsymbol {r_{i}}}} それぞれが）独立試行と考えられるため、 m {\displaystyle {\boldsymbol {m}}} 個のデータポイントのセット ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) {\displaystyle {\boldsymbol {(x_{1},y_{1}),(x_{2},y_{2}),\ldots ,(x_{m},y_{m})}}} が得られる確率 P ( y 1 , … , y m ) {\displaystyle {\boldsymbol {P(y_{1},\ldots ,y_{m})}}} は、 P ( y 1 , … , y m ) = ∏ i = 1 m P ( y i ) = ∏ i = 1 m 1 σ 2 π exp ( − r i 2 2 σ 2 ) = 1 ( σ 2 π ) m exp ( ∑ i = 1 m ( − ( y i − f ( x i , β ) ) 2 2 σ 2 ) ) {\displaystyle {\begin{aligned}P(y_{1},\dots ,y_{m})&=\prod _{i=1}^{m}P(y_{i})\\&=\prod _{i=1}^{m}{\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {r_{i}^{2}}{2\sigma ^{2}}}\right)\\&={\frac {1}{(\sigma {\sqrt {2\pi }})^{m}}}\exp \left(\sum _{i=1}^{m}\left(-{\frac {(y_{i}-f(x_{i},{\boldsymbol {\beta }}))^{2}}{2\sigma ^{2}}}\right)\right)\end{aligned}}} (2-2) となる。ここで、 Π i = 1 n {\displaystyle {\Pi }_{i=1}^{n}} は、連乗積を表す。 上式において、正規分布の単峰性より、確率 P ( y i , … , y m ) {\displaystyle P(y_{i},\ldots ,y_{m})} は、 S ( β ) = ∑ i = 1 m ( y i − f ( x i , β ) ) 2 2 σ 2 {\displaystyle S(\beta )=\sum _{i=1}^{m}{\frac {(y_{i}-f(x_{i},{\boldsymbol {\beta }}))^{2}}{2\sigma ^{2}}}} (2-3) が最小（最も 0 {\displaystyle 0} に近いとき）において、最大（最尤）となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。
※この「最小二乗法の尤もらしさ」の解説は、「非線形最小二乗法」の解説の一部です。
「最小二乗法の尤もらしさ」を含む「非線形最小二乗法」の記事については、「非線形最小二乗法」の概要を参照ください。
- 最小二乗法の尤もらしさのページへのリンク
