推定量の偏り
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/07/30 13:42 UTC 版)
これは、実際に推定しようとしている量とは違うような平均値をもつ統計量を推定量として使ってしまうことをいう。逆にこの平均値が推定しようとしている量に等しい場合には、不偏推定量という。 推定量（観察データの関数） θ ^ {\displaystyle {\hat {\theta }}} を使って母数 θ を推定するとしよう。θ の偏りは： E ( θ ^ ) − θ {\displaystyle \operatorname {E} ({\hat {\theta }})-\theta } と定義される。つまり「推定量の期待値と本当の値 θ との差」。書き換えると E ( θ ^ − θ ) {\displaystyle \operatorname {E} ({\hat {\theta }}-\theta )} つまり「推定量と本当の値 θ との差の期待値」。 例えば X1, ..., Xn を独立で同じ分布に従うランダム変数でその期待値をμ, 分散（不偏分散）をσ2とし、 X ¯ = ( X 1 + ⋯ + X n ) / n {\displaystyle {\overline {X}}=(X_{1}+\cdots +X_{n})/n} を標本平均、 S 2 = 1 n ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle S^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}\,)^{2}} を標本分散とする。するとS2は、σ2の推定量としては偏りがある。なぜなら E ( S 2 ) = n − 1 n σ 2 ≠ σ 2 {\displaystyle \operatorname {E} (S^{2})={\frac {n-1}{n}}\sigma ^{2}\neq \sigma ^{2}} しかし標本が正規分布に従う母集団から抽出されたものならば、この「偏りのある推定量」は、普通用いられる「平均二乗誤差」という意味では、S2の分母 n を n－1 に変えた不偏推定量よりもよい。それでも母分散の不偏推定量の平方根は母標準偏差の不偏推定量ではない。非線形関数f と母数p の不偏推定量U に対してはf(U) は普通f(p) の不偏推定量ではないからである。 偏りのある推定量が不偏推定量よりもよいという極端な例に、次のようなものがある。X が期待値λ のポアソン分布に従うとしよう。推定したいのは P ( X = 0 ) 2 = e − 2 λ {\displaystyle \operatorname {P} (X=0)^{2}=e^{-2\lambda }\quad } で、不偏推定量に当てはまるただ一つの関数は δ ( X ) = ( − 1 ) X {\displaystyle \delta (X)=(-1)^{X}\quad } である。 X の観察値が100とすると、推定量は1となるが、推定する本当の量は明らかに0に近く、これは反対の極端である。さらにXの観察値が101とすると推定量は－1となってしまうが、推定する量は正でなければならないはずである。最尤推定量（最尤法で求められる推定量） e − 2 X {\displaystyle e^{-2X}\quad } （これは偏りがある）は上の不偏推定量よりもよい。なぜならその平均二乗誤差 e − 4 λ − 2 e λ ( 1 / e 2 − 3 ) + e λ ( 1 / e 4 − 1 ) {\displaystyle e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}} は、不偏推定量の平均二乗誤差 1 − e − 4 λ {\displaystyle 1-e^{-4\lambda }} よりも小さいからである。 この平均二乗誤差は本当の値λ の関数である。最尤推定量の偏りは e − 2 λ − e λ ( 1 / e 2 − 1 ) {\displaystyle e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}} ということになる。 最尤推定量の偏りはかなり大きくなるおそれがある。例えば、1 から n まで番号を打った n 枚のカードを箱に入れた場合を考える。ランダムに1枚を取り出したところ、番号はX だったとしよう。n が不明ならば、X の期待値が (n+1)/2 だとしても、n の最尤推定量はX であり、n は少なくともX 以上と言えるだけである。この場合、自然な不偏推定量は 2X－1 である。
※この「推定量の偏り」の解説は、「偏り」の解説の一部です。
「推定量の偏り」を含む「偏り」の記事については、「偏り」の概要を参照ください。
- 推定量の偏りのページへのリンク
