観測を繰り返し行うときの注意
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:44 UTC 版)
「クラメール・ラオの限界」の記事における「観測を繰り返し行うときの注意」の解説
確率変数列 X 1 , X 2 , ⋯ , X n {\displaystyle X_{1},X_{2},\cdots ,X_{n}} を使って推定を行う場合について、未知母数が1つ（ θ {\displaystyle \theta } ）のときに絞って概要を述べる。 X := ( X 1 , X 2 , ⋯ , X n ) {\displaystyle {\boldsymbol {X}}:=(X_{1},X_{2},\cdots ,X_{n})} と書くことにする。 尤度関数は、結合確率密度関数 f n ( x 1 , x 2 , ⋯ , x n ; θ ) = f n ( x ; θ ) {\displaystyle f_{n}(x_{1},x_{2},\cdots ,x_{n};\theta )=f_{n}({\boldsymbol {x}};\theta )} で与えられる（標本の値 x {\displaystyle {\boldsymbol {x}}} が代入されたとして θ {\displaystyle \theta } の関数とみなしている）。 スコア関数は、尤度関数の自然対数をとってから θ {\displaystyle \theta } で偏微分したものである。 ∂ ∂ θ ln f n ( x ; θ ) {\displaystyle {\frac {\partial }{\partial \theta }}\ln f_{n}({\boldsymbol {x}};\theta )} これらはいずれも実数値関数であるので、 フィッシャー情報量も実数値であり、 I ( θ ) = E [ ( ∂ ∂ θ ln f n ( X ; θ ) ) 2 ] {\displaystyle I(\theta )=\operatorname {E} \left[\left({\frac {\partial }{\partial \theta }}\ln f_{n}({\boldsymbol {X}};\theta )\right)^{2}\right]} となる。 本記事でここまでに述べた事柄は、次の置き換えをすれば基本的に全て同じ形式で成り立つ。 X → X , x → x , ∫ R ( ⋯ ) d x → ∫ R n ( ⋯ ) d x {\displaystyle X\to {\boldsymbol {X}},\quad x\to {\boldsymbol {x}},\quad \int _{\mathbb {R} }(\cdots )\,dx\to \int _{\mathbb {R} ^{n}}(\cdots )\,d{\boldsymbol {x}}} 特に、確率変数列 X = ( X 1 , X 2 , ⋯ , X n ) {\displaystyle {\boldsymbol {X}}=(X_{1},X_{2},\cdots ,X_{n})} が独立同分布で、その確率密度関数が f ( x ; θ ) {\displaystyle f(x;\theta )} であるとすると、 尤度関数は f n ( x ; θ ) = ∏ i = 1 n f ( x i ; θ ) {\displaystyle f_{n}({\boldsymbol {x}};\theta )=\prod _{i=1}^{n}f(x_{i};\theta )} スコア関数は ∂ ∂ θ ln f n ( x ; θ ) = ∑ i = 1 n ( ∂ ∂ θ ln f ( x i ; θ ) ) {\displaystyle {\frac {\partial }{\partial \theta }}\ln f_{n}({\boldsymbol {x}};\theta )=\sum _{i=1}^{n}\left({\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right)} フィッシャー情報量は I ( θ ) = − E [ ∂ 2 ∂ θ 2 ln f n ( X ; θ ) ] = − E [ ∂ 2 ∂ θ 2 ∑ i = 1 n { ln f ( X i ; θ ) } ] = − ∑ i = 1 n ( E [ ∂ 2 ∂ θ 2 { ln f ( X ; θ ) } ] ) = − n E [ ∂ 2 ∂ θ 2 ln f ( X ; θ ) ] {\displaystyle {\begin{aligned}I(\theta )&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f_{n}({\boldsymbol {X}};\theta )\right]\\&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\sum _{i=1}^{n}\{\ln f(X_{i};\theta )\}\right]\\&=-\sum _{i=1}^{n}\left(\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\{\ln f(X;\theta )\}\right]\right)\\&=-n\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(X;\theta )\right]\end{aligned}}} となる。
※この「観測を繰り返し行うときの注意」の解説は、「クラメール・ラオの限界」の解説の一部です。
「観測を繰り返し行うときの注意」を含む「クラメール・ラオの限界」の記事については、「クラメール・ラオの限界」の概要を参照ください。
- 観測を繰り返し行うときの注意のページへのリンク
