Renyiエントロピー
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/30 01:45 UTC 版)
Ω {\displaystyle \Omega } を、台が有限集合である確率空間とする。Pを Ω {\displaystyle \Omega } 上の確率分布とし、 α {\displaystyle \alpha } を非負の実数とする。 α ≠ 1 {\displaystyle \alpha \neq 1} のとき、Pのdegee α {\displaystyle \alpha } のRenyiエントロピーを H α ( P ) = log ( ∑ A ∈ Ω P ( A ) α ) 1 − α {\displaystyle H_{\alpha }(P)={\frac {\log(\sum _{A\in \Omega }P(A)^{\alpha })}{1-\alpha }}} によって定義する。また、 α = 1 , ∞ {\displaystyle \alpha =1,\infty } の場合には、Renyiエントロピーを { H 1 ( P ) = lim α → 1 H α ( P ) H ∞ ( P ) = lim α → ∞ H α ( P ) {\displaystyle \left\{{\begin{array}{lll}H_{1}(P)&=\lim _{\alpha \to 1}&H_{\alpha }(P)\\H_{\infty }(P)&=\lim _{\alpha \to \infty }&H_{\alpha }(P)\end{array}}\right.} によって定義する。 単にRenyiエントロピーと言った場合は H 2 ( P ) {\displaystyle H_{2}(P)} を意味することも多い。 さらに、確率変数Xが確率分布Pに従うとき、 H α ( X ) {\displaystyle H_{\alpha }(X)} を H α ( X ) = H α ( P ) {\displaystyle H_{\alpha }(X)=H_{\alpha }(P)} によって定義する。 Renyiエントロピーは以下の性質を満たす： H 0 ( P ) = log # Ω {\displaystyle H_{0}(P)=\log \#\Omega } が成立する。 H 1 ( P ) {\displaystyle H_{1}(P)} はシャノン情報量 H ( P ) = − ∑ A ∈ Ω P ( A ) log P ( A ) {\displaystyle H(P)=-\sum _{A\in \Omega }P(A)\log P(A)} と一致する。 α {\displaystyle \alpha } が2以上の整数の場合には、 H α ( P ) = 1 1 − α log Pr ( X 1 = ⋯ = X α ) {\displaystyle H_{\alpha }(P)={\frac {1}{1-\alpha }}\log \Pr(X_{1}=\cdots =X_{\alpha })} が成立する。ここで、 X 1 , … , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} は確率分布 P {\displaystyle P} に従う独立同一分布であって、 Pr ( X 1 = ⋯ = X α ) {\displaystyle \Pr(X_{1}=\cdots =X_{\alpha })} は x 1 , … , x α {\displaystyle x_{1},\ldots ,x_{\alpha }} をそれぞれ X 1 , … , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} に従って選んだときに x 1 = ⋯ = x α {\displaystyle x_{1}=\cdots =x_{\alpha }} が成立する確率とする。 H ∞ ( P ) = min A ∈ Ω { − log P ( A ) } {\displaystyle H_{\infty }(P)=\min _{A\in \Omega }\{-\log P(A)\}} が成立する。この H ∞ ( P ) {\displaystyle H_{\infty }(P)} をminエントロピーともいう。
※この「Renyiエントロピー」の解説は、「情報量」の解説の一部です。
「Renyiエントロピー」を含む「情報量」の記事については、「情報量」の概要を参照ください。
- Renyiエントロピーのページへのリンク
