ガウス＝マルコフの定理 線形回帰モデルと最小二乗推定量

ウィキペディア

ガウス＝マルコフの定理

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/09/16 02:52 UTC 版)

線形回帰モデルと最小二乗推定量

線形回帰モデルとして目的変数 Y とp 個の説明変数 X_i, i = 1, ..., p および誤差項 $\varepsilon _{k}$ の関係を以下のようにモデル化したものを考える。

$Y_{k}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon _{k},\ k=1,\dots ,n.$

目的変数と説明変数の測定結果の組 (y_k; x_k,1,...,x_k,p) を1つのデータとし、n( ≥ p) 個のデータを用いて残差の平方和

$\sum _{k=1}^{n}\left\{y_{i}-(\beta _{0}+\beta _{1}x_{i,1}+\beta _{2}x_{i,2}+\cdots +\beta _{p}x_{i,p})\right\}^{2}$

が最小になる$(\beta _{0},\beta _{1},\cdots ,\beta _{p})$を最小二乗推定量と呼ぶ。ここで

$\mathbf {Y} ={\begin{bmatrix}Y_{1}\\Y_{2}\\\vdots \\Y_{n}\end{bmatrix}},\ \mathbf {X} ={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}},\ {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}},\ {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}$

と置くと線形回帰モデルは

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$

とかけ、最小二乗推定量${\widehat {\boldsymbol {\beta }}}$は

${\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y}$

で与えられる。なお、上付き添字$\top$は転置行列を表す。