シャノンエントロピーとは
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/10/20 03:21 UTC 版)
「密度行列」の記事における「シャノンエントロピーとは」の解説
情報理論では、確率1/2で表がでるコインを単位として、事象の確率がコイン何枚分に相当するかを考える。例えば確率1/8=(1/2)3で起こる事象があったとき、この確率はコイン3枚全てが表になる確率に相当するので、この事象の「自己情報量」は 3 = − log 2 ( 1 / 8 ) {\displaystyle 3=-\log _{2}(1/8)} であると定義する。より一般に、確率pで起こる事象があった場合、この事象の底aに対する自己情報量を − log a p {\displaystyle -\log _{a}p} により定義する。コインを単位にする場合は、底のaは2である。 また値1、2、3、…を取る確率変数Xがあった時、X=jであるという事象の自己情報量は L j = − log a Pr [ X = j ] {\displaystyle L_{j}=-\log _{a}\Pr[X=j]} であるので、Ljの期待値 H a ( X ) := − ∑ j Pr [ X = j ] log a Pr [ X = j ] {\displaystyle H_{a}(X):=-\sum _{j}\Pr[X=j]\log _{a}\Pr[X=j]} を定義でき、この値をXの底aに対する情報量、もしくは底aに対するシャノンエントロピーという。 ただし Pr [ X = j ] = 0 {\displaystyle \Pr[X=j]=0} である項に関しては、 lim x → 0 x log a x = 0 {\displaystyle \lim _{x\to 0}x\log _{a}x=0} であるので、 Pr [ X = j ] log a Pr [ X = j ] = 0 {\displaystyle \Pr[X=j]\log _{a}\Pr[X=j]=0} とみなす。 本項で重要なのは底aが自然対数eの場合なので、底eに対するシャノンエントロピーを単にシャノンエントロピーと呼び、 H ( X ) := H e ( X ) {\displaystyle H(X):=H_{\mathrm {e} }(X)} と略記する。
※この「シャノンエントロピーとは」の解説は、「密度行列」の解説の一部です。
「シャノンエントロピーとは」を含む「密度行列」の記事については、「密度行列」の概要を参照ください。
- シャノンエントロピーとはのページへのリンク
