母数が1つの場合の証明
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:44 UTC 版)
「クラメール・ラオの限界」の記事における「母数が1つの場合の証明」の解説
母数が1つの場合のクラメール・ラオの不等式を一般的に証明する。 X {\displaystyle X} を、確率密度関数が f ( x ; θ ) {\displaystyle f(x;\theta )} となる確率分布に従う確率変数とし、 T = t ( X ) {\displaystyle T=t(X)} は X {\displaystyle X} の関数で、母数 θ {\displaystyle \theta } の関数である ψ ( θ ) {\displaystyle \psi (\theta )} の不偏推定量であるとする。つまり、 E [ T ] = ψ ( θ ) {\displaystyle \operatorname {E} \left[T\right]=\psi (\theta )} 。 目標は、任意の θ {\displaystyle \theta } に対して Var ( t ( X ) ) ≥ [ ψ ′ ( θ ) ] 2 I ( θ ) {\displaystyle \operatorname {Var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}} を示すことである。 V {\displaystyle V} を次のように定義する（これはスコア関数である）： V = ∂ ∂ θ ln f ( X ; θ ) = 1 f ( X ; θ ) ∂ ∂ θ f ( X ; θ ) {\displaystyle V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )} ここで連鎖律を使った。 V {\displaystyle V} の期待値はゼロである。なぜなら： E [ V ] = ∫ R f ( x ; θ ) [ 1 f ( x ; θ ) ∂ ∂ θ f ( x ; θ ) ] d x = ∂ ∂ θ ∫ R f ( x ; θ ) d x = ∂ ∂ θ ( 1 ) = 0 {\displaystyle {\begin{aligned}\operatorname {E} \left[V\right]&=\int _{\mathbb {R} }f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx\\&={\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}(1)=0\end{aligned}}} ここで積分と偏微分の順序が交換可能であること（正規性の条件の2番目）を使った。 V {\displaystyle V} と T {\displaystyle T} の共分散 Cov ( V , T ) {\displaystyle \operatorname {Cov} (V,T)} は、 E [ V ] = 0 {\displaystyle \operatorname {E} \left[V\right]=0} だから Cov ( V , T ) = E [ V T ] {\displaystyle \operatorname {Cov} (V,T)=\operatorname {E} \left[VT\right]} 、よって次式を得る。 Cov ( V , T ) = E [ T ⋅ { 1 f ( X ; θ ) ∂ ∂ θ f ( X ; θ ) } ] = ∫ R t ( x ) [ 1 f ( x ; θ ) ∂ ∂ θ f ( x ; θ ) ] f ( x ; θ ) d x = ∂ ∂ θ [ ∫ R t ( x ) f ( x ; θ ) d x ] = ∂ ∂ θ E [ T ] = ψ ′ ( θ ) {\displaystyle {\begin{aligned}\operatorname {Cov} (V,T)&=\operatorname {E} \left[T\cdot \left\{{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right\}\right]\\[6pt]&=\int _{\mathbb {R} }t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int _{\mathbb {R} }t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}\operatorname {E} \left[T\right]=\psi ^{\prime }(\theta )\end{aligned}}} ここで再び、積分と微分が交換可能であるという条件（正規性の条件の2番目）を使った。 コーシー・シュワルツの不等式から、 Var ( T ) Var ( V ) ≥ | Cov ( V , T ) | = | ψ ′ ( θ ) | {\displaystyle {\sqrt {\operatorname {Var} (T)\operatorname {Var} (V)}}\geq \left|\operatorname {Cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|} よって Var ( T ) ≥ [ ψ ′ ( θ ) ] 2 Var ( V ) = [ ψ ′ ( θ ) ] 2 I ( θ ) {\displaystyle \operatorname {Var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {Var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}} これが示したかったことである。
※この「母数が1つの場合の証明」の解説は、「クラメール・ラオの限界」の解説の一部です。
「母数が1つの場合の証明」を含む「クラメール・ラオの限界」の記事については、「クラメール・ラオの限界」の概要を参照ください。
- 母数が1つの場合の証明のページへのリンク
