平均が既知の正規分布の場合
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:44 UTC 版)
「クラメール・ラオの限界」の記事における「平均が既知の正規分布の場合」の解説
X , { X i } i {\displaystyle X,\{X_{i}\}_{i}} を、平均 μ {\displaystyle \mu } が既知、分散 σ 2 {\displaystyle \sigma ^{2}} が未知の正規分布に従う独立な確率変数（列）だとする。次のような統計量を考えよう： T = ∑ i = 1 n ( X i − μ ) 2 n {\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}} このとき E [ T ] = σ 2 {\displaystyle \operatorname {E} \left[T\right]=\sigma ^{2}} より、 T {\displaystyle T} は σ 2 {\displaystyle \sigma ^{2}} の不偏推定量になる。 T {\displaystyle T} の分散は、 Var ( T ) = Var ( X − μ ) 2 n = 1 n [ E [ ( X − μ ) 4 ] − ( E [ ( X − μ ) 2 ] ) 2 ] {\displaystyle \operatorname {Var} (T)={\frac {\operatorname {Var} (X-\mu )^{2}}{n}}={\frac {1}{n}}\left[\operatorname {E} \left[(X-\mu )^{4}\right]-\left(\operatorname {E} \left[(X-\mu )^{2}\right]\right)^{2}\right]} （2番目の等号は分散の定義）。第1項は正規分布の4次の中心モーメントであり、 3 ( σ 2 ) 2 {\displaystyle 3(\sigma ^{2})^{2}} に等しい。第2項は分散の2乗、つまり ( σ 2 ) 2 {\displaystyle (\sigma ^{2})^{2}} である。よって Var ( T ) = 2 ( σ 2 ) 2 n {\displaystyle \operatorname {Var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}} 一方フィッシャー情報量については、まず、観測1回あたりのスコア関数 V {\displaystyle V} が尤度関数 L {\displaystyle L} から次のように計算できる。 V = ∂ ∂ ( σ 2 ) ln L ( σ 2 , X ) = ∂ ∂ ( σ 2 ) ln [ 1 2 π σ 2 e − ( X − μ ) 2 / 2 σ 2 ] = ( X − μ ) 2 2 ( σ 2 ) 2 − 1 2 σ 2 {\displaystyle {\begin{aligned}V&={\frac {\partial }{\partial (\sigma ^{2})}}\ln L(\sigma ^{2},X)\\&={\frac {\partial }{\partial (\sigma ^{2})}}\ln \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]={\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}-{\frac {1}{2\sigma ^{2}}}\end{aligned}}} 最後の等号は簡単な計算でわかる。この情報量は、 V {\displaystyle V} をもう一度偏微分してから平均をとり、マイナス1倍したものに等しい。 I = − E [ ∂ V ∂ ( σ 2 ) ] = − E [ − ( X − μ ) 2 ( σ 2 ) 3 + 1 2 ( σ 2 ) 2 ] = σ 2 ( σ 2 ) 3 − 1 2 ( σ 2 ) 2 = 1 2 ( σ 2 ) 2 {\displaystyle {\begin{aligned}I&=-\operatorname {E} \left[{\frac {\partial V}{\partial (\sigma ^{2})}}\right]=-\operatorname {E} \left[-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right]\\&={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}\end{aligned}}} n {\displaystyle n} 回の独立な観測の情報量は、これを単純に n {\displaystyle n} 倍したものになり、 I n = n 2 ( σ 2 ) 2 {\displaystyle I_{n}={\frac {n}{2(\sigma ^{2})^{2}}}} クラメール・ラオの不等式は Var ( T ) ≥ 1 I n {\displaystyle \operatorname {Var} (T)\geq {\frac {1}{I_{n}}}} だが、この場合は等号が成り立っているため、推定量が有効（英語版）であることがわかる。 不偏でない推定量を用いれば、分散及び平均二乗誤差をより小さくすることもできる。例えば T b = ∑ i = 1 n ( X i − μ ) 2 n + 2 {\displaystyle T_{b}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}} とすれば、分散は明らかにより小さくなる。実際 Var ( T b ) = 2 n ( σ 2 ) 2 ( n + 2 ) 2 < Var ( T ) {\displaystyle \operatorname {Var} (T_{b})={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}<\operatorname {Var} (T)} ここで偏りは − b ( σ 2 ) = σ 2 − E [ T b ] = ( 1 − n n + 2 ) σ 2 = 2 σ 2 n + 2 {\displaystyle -b(\sigma ^{2})=\sigma ^{2}-\operatorname {E} [T_{b}]=\left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}} であり、平均二乗誤差は、『（平均二乗誤差(MSE)）＝（分散）＋（偏りの2乗）』の分解式から MSE ( T b ) = ( 2 n ( n + 2 ) 2 + 4 ( n + 2 ) 2 ) ( σ 2 ) 2 = 2 ( σ 4 ) n + 2 {\displaystyle \operatorname {MSE} (T_{b})=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{4})}{n+2}}} となる。こちらも不偏推定量のときの MSE ( T ) = ( 2 ( σ 2 ) 2 n + 0 ) ( σ 2 ) 2 = 2 ( σ 4 ) n {\displaystyle \operatorname {MSE} (T)=\left({\frac {2(\sigma ^{2})^{2}}{n}}+0\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{4})}{n}}} を下回っている。 正規母集団の平均も分散も未知の場合、分散の推定量の平均二乗誤差が最小になるのは、 X ¯ = 1 n ∑ i = 1 n ( X i ) {\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})} を平均の推定量として T n + 1 = 1 n + 1 ∑ i = 1 n ( X i − X ¯ ) 2 {\displaystyle T_{n+1}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}} のときである（分母が n − 1 や n + 2 のときではない）。
※この「平均が既知の正規分布の場合」の解説は、「クラメール・ラオの限界」の解説の一部です。
「平均が既知の正規分布の場合」を含む「クラメール・ラオの限界」の記事については、「クラメール・ラオの限界」の概要を参照ください。
- 平均が既知の正規分布の場合のページへのリンク
