最小二乗法の主張
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/09/19 08:12 UTC 版)
「非線形最小二乗法」の記事における「最小二乗法の主張」の解説
m {\displaystyle m} 個のデータポイント ( x i , y i ) , ( x 2 , y 2 ) , … , ( x m , y m ) {\displaystyle (x_{i},y_{i}),(x_{2},y_{2}),\dots ,(x_{m},y_{m})} からなるセットに対し、 n {\displaystyle n} 個のフィッティングパラメータ β 1 , β 2 , … , β n {\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{n}} を持つモデル関数 y = f ( x , β ) {\displaystyle y=f(x,{\boldsymbol {\beta }})} (1-1) をあてはめる場合を考える。ここで、それぞれのデータ ( x m , y m ) {\displaystyle (x_{m},y_{m})} において、 x i {\displaystyle x_{i}} は説明変数とし、 y i {\displaystyle y_{i}} は目的変数とする。 β = ( β 1 , β 2 , … , β n ) {\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n})} は、前記の n {\displaystyle n} 個のフィッティングパラメータ β i {\displaystyle \beta _{i}} からなる実数ベクトルとする。 また、以下で定まる残差 r i = y i − f ( x i , β ) ( i = 1 , 2 , … , m ) {\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})\qquad (i=1,2,\dots ,m)} (1-2) のそれぞれは、それぞれ、期待値 0 {\displaystyle 0} 、標準偏差 σ i {\displaystyle \sigma _{i}} の正規分布に従うとする。また、話を簡単にするため、 x i {\displaystyle x_{i}} それぞれは、いずれも誤差を持たないとする。 このとき、考えるべき問題は、もっとも当てはまりのよい β {\displaystyle {\boldsymbol {\beta }}} を見つけ出すことである。 非線形最小二乗法では、以下の残差平方和（より正確に言えば、標準化された残差平方和） S ( β ) = ∑ i = 1 m r i 2 2 σ i 2 = ∑ i = 1 m ( y i − f ( x i , β ) ) 2 2 σ i 2 {\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}{\frac {r_{i}^{2}}{2{\sigma }_{i}^{2}}}=\sum _{i=1}^{m}{\frac {({y}_{i}-f({x}_{i},{\boldsymbol {\beta }}))^{2}}{2{\sigma }_{i}^{2}}}} (1-3) を最小とするような β {\displaystyle {\boldsymbol {\beta }}} が、もっとも当てはまりの良い f {\displaystyle f} を与えるフィッティングパラメータと考える。 この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば ∑ i = 1 n | r i | {\displaystyle {\sum }_{i=1}^{n}|{r}_{i}|} を最小にする考え方 ∑ i = 1 m ( y i − f ( x i , β ) ) 2 {\displaystyle \sum _{i=1}^{m}(y_{i}-f(x_{i},{\boldsymbol {\beta }}))^{2}} を最小とする考え方（単に各データのバラつきが同じと勝手に仮定しただけ）。 データ、モデル関数共に何らかの変換（例えば対数変換）を加えたうえで、最小二乗法をする考え方。 カイ二乗値を最小にする考え方。 等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない。 ただし、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている。このことについては、次節にて論じる。
※この「最小二乗法の主張」の解説は、「非線形最小二乗法」の解説の一部です。
「最小二乗法の主張」を含む「非線形最小二乗法」の記事については、「非線形最小二乗法」の概要を参照ください。
- 最小二乗法の主張のページへのリンク
