伝達情報量などの情報定量化
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/02/14 14:38 UTC 版)
「情報理論」の記事における「伝達情報量などの情報定量化」の解説
もう1つの重要な情報の尺度として伝達情報量（相互情報量とも呼ぶ）がある。これは、ある確率変数を観測することによって別の確率変数について得られる情報量の尺度である。これは通信において重要な概念であり、妥当な通信量を決定するのに使われる。 Y {\displaystyle Y} との関連での X {\displaystyle X} の伝達情報量（概念的には Y {\displaystyle Y} を観測することで得られる X {\displaystyle X} に関する情報量を意味する）は次のように表される: I ( X ; Y ) = ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log p ( x | y ) p ( x ) = ∑ x , y p ( x , y ) log p ( x , y ) p ( x ) p ( y ) {\displaystyle I(X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log {\frac {p(x|y)}{p(x)}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}} 伝達情報量の基本特性は次の式で表される: I ( X ; Y ) = H ( X ) − H ( X | Y ) {\displaystyle I(X;Y)=H(X)-H(X|Y)\,} この意味は、Y を知っていれば、知らない場合よりも X の符号化で平均して I ( X ; Y ) {\displaystyle I(X;Y)} ビット節約できることを意味する。伝達情報量は対称的であるため、次のようにも表せる: I ( X ; Y ) = I ( Y ; X ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)\,} 関連する尺度として、自己情報量、自己相互情報量(PMI)、カルバック・ライブラー情報量、差分エントロピーなども情報理論では重要である。
※この「伝達情報量などの情報定量化」の解説は、「情報理論」の解説の一部です。
「伝達情報量などの情報定量化」を含む「情報理論」の記事については、「情報理論」の概要を参照ください。
- 伝達情報量などの情報定量化のページへのリンク
