シャノン・エントロピーとの関係
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/03/19 07:18 UTC 版)
「カルバック・ライブラー情報量」の記事における「シャノン・エントロピーとの関係」の解説
H ( X ) = E x { I ( x ) } = log N − D K L ( P ( X ) ‖ P U ( X ) ) {\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{x}\{I(x)\}\\&=\log N-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\end{aligned}}} ここでN は確率変数X の値域の元の数で、P_U(X) はX の値域上の一様分布。 条件付きエントロピーの場合は以下のようになる： H ( X | Y ) = log N − D K L ( P ( X , Y ) ‖ P U ( X ) P ( Y ) ) = log N − D K L ( P ( X , Y ) ‖ P ( X ) P ( Y ) ) − D K L ( P ( X ) ‖ P U ( X ) ) = H ( X ) − I ( X ; Y ) = log N − E Y { D K L ( P ( X | Y ) ‖ P U ( X ) ) } {\displaystyle {\begin{aligned}H(X|Y)&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P_{U}(X)P(Y))\\&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\\&=H(X)-I(X;Y)\\&=\log N-\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P_{U}(X))\}\end{aligned}}}
※この「シャノン・エントロピーとの関係」の解説は、「カルバック・ライブラー情報量」の解説の一部です。
「シャノン・エントロピーとの関係」を含む「カルバック・ライブラー情報量」の記事については、「カルバック・ライブラー情報量」の概要を参照ください。
- シャノン・エントロピーとの関係のページへのリンク
