線形回帰モデルと最小二乗推定量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/09/16 02:52 UTC 版)
「ガウス＝マルコフの定理」の記事における「線形回帰モデルと最小二乗推定量」の解説
線形回帰モデルとして目的変数 Y とp 個の説明変数 Xi, i = 1, ..., p および誤差項 ε k {\displaystyle \varepsilon _{k}} の関係を以下のようにモデル化したものを考える。 Y k = β 0 + β 1 X 1 + β 2 X 2 + ⋯ + β p X p + ε k , k = 1 , … , n . {\displaystyle Y_{k}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon _{k},\ k=1,\dots ,n.} 目的変数と説明変数の測定結果の組 (yk; xk,1,...,xk,p) を1つのデータとし、n( ≥ p) 個のデータを用いて残差の平方和 ∑ k = 1 n { y i − ( β 0 + β 1 x i , 1 + β 2 x i , 2 + ⋯ + β p x i , p ) } 2 {\displaystyle \sum _{k=1}^{n}\left\{y_{i}-(\beta _{0}+\beta _{1}x_{i,1}+\beta _{2}x_{i,2}+\cdots +\beta _{p}x_{i,p})\right\}^{2}} が最小になる ( β 0 , β 1 , ⋯ , β p ) {\displaystyle (\beta _{0},\beta _{1},\cdots ,\beta _{p})} を最小二乗推定量と呼ぶ。ここで Y = [ Y 1 Y 2 ⋮ Y n ] , X = [ 1 x 11 x 12 … x 1 p 1 x 21 x 22 … x 2 p ⋮ ⋮ ⋮ ⋮ 1 x n 1 x n 2 … x n p ] , β = [ β 0 β 1 ⋮ β p ] , ε = [ ε 1 ε 2 ⋮ ε n ] {\displaystyle \mathbf {Y} ={\begin{bmatrix}Y_{1}\\Y_{2}\\\vdots \\Y_{n}\end{bmatrix}},\ \mathbf {X} ={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}},\ {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}},\ {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}} と置くと線形回帰モデルは Y = X β + ε {\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}} とかけ、最小二乗推定量 β ^ {\displaystyle {\widehat {\boldsymbol {\beta }}}} は β ^ = ( X ⊤ X ) − 1 X ⊤ Y {\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} } で与えられる。なお、上付き添字 ⊤ {\displaystyle \top } は転置行列を表す。
※この「線形回帰モデルと最小二乗推定量」の解説は、「ガウス＝マルコフの定理」の解説の一部です。
「線形回帰モデルと最小二乗推定量」を含む「ガウス＝マルコフの定理」の記事については、「ガウス＝マルコフの定理」の概要を参照ください。
- 線形回帰モデルと最小二乗推定量のページへのリンク
