最小二乗モデル
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/06/06 07:43 UTC 版)
最小二乗法はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は、擾乱項 εi の振る舞いに次のような仮定をする（ガウス＝マルコフ仮定）。 擾乱 εi の期待値は 0 である E [ ε ] = 0 {\displaystyle E[\varepsilon ]=0} 擾乱 εi は相互に無相関である（統計的な独立の仮定よりは弱い） cov ( ε i , ε j ) = 0 , i ≠ j . {\displaystyle \operatorname {cov} (\varepsilon _{i},\varepsilon _{j})=0,\qquad i\neq j.} 擾乱 εi は等分散、すなわちみな等しい分散をもつ（ガウス＝マルコフの定理も参照） V [ ε i ] = σ 2 , ∀ i ∈ [ n ] . {\displaystyle V[\varepsilon _{i}]=\sigma ^{2},\qquad \forall i\in [n].} 以上の仮定は、最小二乗法がある意味で最適なパラメタの推定量を与えることを保証する。 説明変数の個数が p 個のモデルを考えると、線形回帰によって決定すべきパラメタは係数 β1,..., βp と切片 β0 の p + 1 個である。目的変数と説明変数の測定結果の組 (yk; xk1,...,xkp) を1つのデータとし、n 個のデータを用いた線形回帰は以下のように表すことができる。 [ y 1 y 2 ⋮ y n ] = [ 1 x 11 x 12 … x 1 p 1 x 21 x 22 … x 2 p ⋮ ⋮ ⋮ ⋮ 1 x n 1 x n 2 … x n p ] [ β 0 β 1 ⋮ β p ] + [ ε 1 ε 2 ⋮ ε n ] {\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}} 上記の連立方程式は、目的変数の観測値を n 成分の列ベクトル Y、説明変数の観測値および切片 β0 の係数 (=1) を n × (p + 1) 行列 X、回帰パラメタを (p + 1) 成分の列ベクトルβ、観測ごとの擾乱を n 成分の列ベクトル ε とすれば、行列の記法を用いて以下のように表せる。 Y = X β + ε {\displaystyle Y=\mathbf {X} \beta +\varepsilon } n = p の場合、回帰パラメタの標準誤差は算出できない。n が p より小さい場合、パラメタは算出できない。 回帰パラメタの推定量は、 β ^ = ( X ⊤ X ) − 1 X ⊤ y → {\displaystyle {\widehat {\beta }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\vec {y}}} で与えられ、ガウス＝マルコフの定理より推定量 β ^ {\displaystyle {\widehat {\beta }}} は最良線形不偏推定量になる。つまり、任意の線形不偏推定量 β {\displaystyle \beta } に対して V [ β ] ≥ V [ β ^ ] {\displaystyle V[\beta ]\geq V[{\widehat {\beta }}]} が成立する。 回帰の二乗和 SSR は下式で与えられる。 S S R = ∑ ( y i ^ − y ¯ ) 2 = β ^ ⊤ X ⊤ y → − 1 n ( y → ⊤ u → u → ⊤ y → ) {\displaystyle {{\mathit {SSR}}=\sum {\left({{\hat {y_{i}}}-{\bar {y}}}\right)^{2}}={\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)}} ここで y ¯ = 1 n ∑ y i {\displaystyle {\bar {y}}={\frac {1}{n}}\sum y_{i}} であり u → {\displaystyle {\vec {u}}} は n × 1 の1ベクトル（各要素が1）である。項 1 n y ⊤ u u ⊤ y {\displaystyle {\frac {1}{n}}y^{\top }uu^{\top }y} は 1 n ( ∑ y i ) 2 {\displaystyle {\frac {1}{n}}(\sum y_{i})^{2}} と等価である。 誤差の二乗和 ESS は下式で与えられる。 E S S = ∑ ( y i − y i ^ ) 2 = y → ⊤ y → − β ^ ⊤ X ⊤ y → {\displaystyle {{\mathit {ESS}}=\sum {\left({y_{i}-{\hat {y_{i}}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\hat {\beta }}^{\top }\mathbf {X} ^{\top }{\vec {y}}}} 二乗和の全和 TSS' は下式で与えられる。 T S S = ∑ ( y i − y ¯ ) 2 = y → ⊤ y → − 1 n ( y → ⊤ u → u → ⊤ y → ) = S S R + E S S {\displaystyle {{\mathit {TSS}}=\sum {\left({y_{i}-{\bar {y}}}\right)^{2}}={\vec {y}}^{\top }{\vec {y}}-{\frac {1}{n}}\left({{\vec {y}}^{\top }{\vec {u}}{\vec {u}}^{\top }{\vec {y}}}\right)={\mathit {SSR}}+{\mathit {ESS}}}} 決定係数, R² は下式で与えられる。 R 2 = S S R T S S = 1 − E S S T S S {\displaystyle {R^{2}={\frac {\mathit {SSR}}{\mathit {TSS}}}=1-{\frac {\mathit {ESS}}{\mathit {TSS}}}}}
※この「最小二乗モデル」の解説は、「線形回帰」の解説の一部です。
「最小二乗モデル」を含む「線形回帰」の記事については、「線形回帰」の概要を参照ください。
- 最小二乗モデルのページへのリンク
