カルバック・ライブラー情報量との関係
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/18 08:52 UTC 版)
「フィッシャー情報量」の記事における「カルバック・ライブラー情報量との関係」の解説
X θ {\displaystyle X_{\theta }} を母数 θ → = ( θ 1 , … , θ n ) {\displaystyle {\vec {\theta }}=(\theta _{1},\ldots ,\theta _{n})} を持つ確率変数とすると、カルバック・ライブラー情報量 D K L {\displaystyle D_{\mathrm {KL} }} とフィッシャー情報行列は以下の関係が成り立つ。 D K L ( X θ → + h → ‖ X θ → ) = t h → ⋅ I ( θ → ) ⋅ h → 2 + o ( | h → | 2 ) {\displaystyle D_{\mathrm {KL} }(X_{{\vec {\theta }}+{\vec {h}}}\|X_{\vec {\theta }})={\frac {{}^{t}{\vec {h}}\cdot {\mathcal {I}}({\vec {\theta }})\cdot {\vec {h}}}{2}}+o(|{\vec {h}}|^{2})} すなわちフィッシャー情報行列はカルバック・ライブラー情報量をテイラー展開したときの2次の項として登場する。（0次、1次の項は0）。
※この「カルバック・ライブラー情報量との関係」の解説は、「フィッシャー情報量」の解説の一部です。
「カルバック・ライブラー情報量との関係」を含む「フィッシャー情報量」の記事については、「フィッシャー情報量」の概要を参照ください。
- カルバック・ライブラー情報量との関係のページへのリンク
