平均情報量（エントロピー）
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/30 01:45 UTC 版)
「情報量」の記事における「平均情報量（エントロピー）」の解説
Ω {\displaystyle \Omega } を、台が有限集合である確率空間とする。 Ω {\displaystyle \Omega } 上の確率分布Pが与えられたとき、各事象 A ∈ Ω {\displaystyle A\in \Omega } の選択情報量 − log P ( A ) {\displaystyle -\log P(A)} の期待値 H ( P ) = − ∑ A ∈ Ω P ( A ) log P ( A ) {\displaystyle H(P)=-\sum _{A\in \Omega }P(A)\log P(A)} をPのエントロピーと呼ぶ（平均情報量、シャノン情報量、情報論のエントロピーとも）。 ただし、ここでP(A)=0のときは、 P ( A ) log P ( A ) = 0 {\displaystyle P(A)\log P(A)=0} とみなす。これは lim p → + 0 p log p = 0 {\displaystyle \lim _{p\to +0}p\log p=0} であることによる。 また有限集合U上の値を取る確率変数Xが確率分布Pに従う場合には、XのエントロピーをH(X)=H(P)によって定める。すなわち、 H ( X ) = − ∑ x ∈ U Pr ( X = x ) log Pr ( X = x ) {\displaystyle H(X)=-\sum _{x\in U}\Pr(X=x)\log \Pr(X=x)} 。 エントロピーは常に非負の値（または無限大）を取る。 値x、yがそれぞれ確率変数X、Yに従う場合には、組 ( x , y ) {\displaystyle (x,y)} も確率変数とみなせる。この確率変数を ( X , Y ) {\displaystyle (X,Y)} と書くことにすると、確率変数 ( X , Y ) {\displaystyle (X,Y)} のエントロピーは H ( X , Y ) = − ∑ x , y Pr ( X = x , Y = y ) log Pr ( X = x , Y = y ) {\displaystyle H(X,Y)=-\sum _{x,y}\Pr(X=x,Y=y)\log \Pr(X=x,Y=y)} になる。これを結合エントロピーと呼ぶ。 X , Y {\displaystyle X,Y} が互いに独立な確率変数である場合には、 H ( X , Y ) {\displaystyle H(X,Y)} は H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} に一致する。すなわち、全体の情報量 H ( X , Y ) {\displaystyle H(X,Y)} は、それぞれの確率変数の情報量の和である。 しかし、XとYが互いに独立ではない場合は、 H ( X , Y ) {\displaystyle H(X,Y)} と H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、 I ( X , Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)} で表す。相互情報量は常に非負の値になる。 事象Bが生じているという条件下における事象Aの条件付き情報量を − log Pr ( A | B ) {\displaystyle -\log \Pr(A|B)} によって定める。確率変数Xが与えられたとき、事象「 X = x {\displaystyle X=x} 」の条件付き情報量 − log Pr ( X = x | B ) {\displaystyle -\log \Pr(X=x|B)} のxに関する平均値を条件付きエントロピーといい、 H ( X | B ) = − ∑ x Pr ( X = x | B ) log Pr ( X = x | B ) {\displaystyle H(X|B)=-\sum _{x}\Pr(X=x|B)\log \Pr(X=x|B)} で表す。 さらに確率変数Yが与えられたとき、事象「 Y = y {\displaystyle Y=y} 」が生じているという条件下における事象「 X = x {\displaystyle X=x} 」の条件付きエントロピー H ( X | Y = y ) {\displaystyle H(X|Y=y)} のyに関する平均値 H ( X | Y ) = ∑ y Pr ( Y = y ) H ( X | Y = y ) {\displaystyle H(X|Y)=\sum _{y}\Pr(Y=y)H(X|Y=y)} もやはり条件付きエントロピーと呼ぶ。
※この「平均情報量（エントロピー）」の解説は、「情報量」の解説の一部です。
「平均情報量（エントロピー）」を含む「情報量」の記事については、「情報量」の概要を参照ください。
- 平均情報量のページへのリンク
