微分エントロピーの性質
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/07/13 02:03 UTC 版)
「微分エントロピー」の記事における「微分エントロピーの性質」の解説
確率密度関数 f {\displaystyle f} と g {\displaystyle g} に対しカルバック・ライブラー情報量 D K L ( f | | g ) {\displaystyle D_{KL}(f||g)} は 0 以上であり、0 と一致するのはほとんど至るところで f = g {\displaystyle f=g} であるとき、かつそのときに限る。同様に、2つの確率変数 X {\displaystyle X} と Y {\displaystyle Y} に対し I ( X ; Y ) ≥ 0 {\displaystyle I(X;Y)\geq 0} かつ h ( X | Y ) ≤ h ( X ) {\displaystyle h(X|Y)\leq h(X)} で、等号が成立するのは X {\displaystyle X} と Y {\displaystyle Y} が独立であるとき、かつそのときに限る。 離散型の場合と同じく連鎖律が成り立つ:253。 h ( X 1 , … , X n ) = ∑ i = 1 n h ( X i | X 1 , … , X i − 1 ) ≤ ∑ i = 1 n h ( X i ) {\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})} 平行移動不変である。つまり任意の定数 c {\displaystyle c} に対し h ( X + c ) = h ( X ) {\displaystyle h(X+c)=h(X)} :253 一般に、任意の可逆な写像の下で不変ではない。 特に、定数 a {\displaystyle a} に対しては h ( a X ) = h ( X ) + log | a | {\displaystyle h(aX)=h(X)+\log |a|} ベクトル値確率変数 X {\displaystyle \mathbf {X} } と可逆な正方行列 A {\displaystyle \mathbf {A} } に対しては h ( A X ) = h ( X ) + log ( | det A | ) {\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X} )+\log \left(|\det \mathbf {A} |\right)} :253 一般に、あるベクトル値確率変数から同じ次元のベクトル値確率変数への変換 Y = m ( X ) {\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)} があるとき、対応するエントロピーは h ( Y ) ≤ h ( X ) + ∫ f ( x ) log | ∂ m ∂ x | d x {\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X} )+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}}\right\vert dx} を満たす。ここで | ∂ m ∂ x | {\displaystyle \left\vert {\frac {\partial m}{\partial x}}\right\vert } は変換 m {\displaystyle m} のヤコビ行列式である。この不等式は変換が全単射のとき等式になる。さらに m {\displaystyle m} が回転、平行移動、またはそれらの合成であるとき、ヤコビ行列式の値は常に1であり、 h ( Y ) = h ( X ) {\displaystyle h(Y)=h(X)} となる。 確率変数ベクトル X ∈ R n {\displaystyle X\in \mathbb {R} ^{n}} の平均が0で分散共分散行列が K {\displaystyle K} のとき h ( X ) ≤ 1 2 log ( det 2 π e K ) = 1 2 log [ ( 2 π e ) n det K ] {\displaystyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]} 等号が成立するのは X {\displaystyle X} が多変量正規分布に従うとき、かつそのときに限る:254。 しかし、微分エントロピーは他のいくつかの望ましい性質を持っていない： 微分エントロピーは変数変換（英語版）の下で不変でない。最も有用になるのは変量が無次元の場合である。 微分エントロピーは負になり得る。 これらの欠点に対応するため微分エントロピーを修正したものが relative information entropy であり、これは不変測度因子を含んでいる。en:limiting density of discrete points を参照。
※この「微分エントロピーの性質」の解説は、「微分エントロピー」の解説の一部です。
「微分エントロピーの性質」を含む「微分エントロピー」の記事については、「微分エントロピー」の概要を参照ください。
- 微分エントロピーの性質のページへのリンク
