ガウス＝マルコフの定理 ガウス・マルコフの定理

ウィキペディア

ガウス＝マルコフの定理

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/09/16 02:52 UTC 版)

ガウス・マルコフの定理

仮定

誤差項 ${\boldsymbol {\varepsilon }}$ について

1. $E[{\boldsymbol {\varepsilon }}]=0$ （不偏性）
2. $\operatorname {Cov} [{\boldsymbol {\varepsilon }}]=\sigma ^{2}{\boldsymbol {I}}$ （等分散性・無相関性）

を仮定する。ここで${\boldsymbol {I}}$は単位行列を表す。

無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。

定理の内容

最小二乗推定量${\widehat {\boldsymbol {\beta }}}$は最良線形不偏推定量になる。つまり任意の線形不偏推定量${\widetilde {\boldsymbol {\beta }}}$に対して

$\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]$

が成立する。

証明

${\widetilde {\boldsymbol {\beta }}}$は線形推定量なので$(p+1)$行$n$列の行列$\mathbf {C}$を用いて${\widetilde {\boldsymbol {\beta }}}=\mathbf {C} \mathbf {Y}$とかける。${\widetilde {\boldsymbol {\beta }}}$が不偏性を持つための条件を求めると $E[{\widetilde {\boldsymbol {\beta }}}]=\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}={\boldsymbol {\beta }}$が恒等的に成立することから$\mathbf {C} \mathbf {X} =\mathbf {I}$である。

次に${\widetilde {\boldsymbol {\beta }}}$の分散共分散行列を整理すると

${\begin{alignedat}{2}\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]&=E\left[(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})^{\top }\right]\\&=E\left[\mathbf {C} {\boldsymbol {\varepsilon }}(\mathbf {C} {\boldsymbol {\varepsilon }})^{\top }\right]\\&=\mathbf {C} E[{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }]\mathbf {C} ^{T}\\&=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }\end{alignedat}}$

になる。ここで${\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }$とした時の推定量が最小二乗推定量${\widehat {\boldsymbol {\beta }}}$になるので $\mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }$を示せばよい。不偏性より$\mathbf {C} \mathbf {X} =\mathbf {I}$なので

${\begin{alignedat}{2}(\mathbf {C} -{\hat {\mathbf {C} }}){\hat {\mathbf {C} }}^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }})\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=(\mathbf {C} \mathbf {X} -{\hat {\mathbf {C} }}\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=\mathbf {O} \end{alignedat}}$

に注意すると

${\begin{alignedat}{2}\mathbf {C} \mathbf {C} ^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})^{\top }\\&=(\mathbf {C} -{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }})^{\top }+{\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\\&\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\end{alignedat}}$

が成立する。したがって

$\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]$

が成立し、最小二乗推定量${\widehat {\boldsymbol {\beta }}}$は最良線形不偏推定量になる。