ベイズ確率による説明
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/03/19 07:18 UTC 版)
「カルバック・ライブラー情報量」の記事における「ベイズ確率による説明」の解説
X を確率変数とし、各 x に対し X が x である確率 Pr [ X = x ] {\displaystyle \Pr[X=x]} が Q(x) であったとする（ベイズ確率でいう事前分布。）今 X に関する新たなデータ I を知ったとし、その結果 X の従う(条件付き)確率 Pr [ X = x | I ] {\displaystyle \Pr[X=x|I]} が P(x) になったとする（ベイズ確率でいう事後分布。） このとき、I は X に関しどのくらいの情報を提供したといえるであろうか。情報量が事象の不確かさを図る尺度であった事を思い出されたい。I を知る前の X の不確かさ（＝自己情報量）は − log Q ( x ) {\displaystyle -\log Q(x)} であるが、I を知る事でそれは − log P ( x ) {\displaystyle -\log P(x)} に減る。したがって I は X に関して ( − log Q ( x ) ) − ( − log P ( x ) ) = log P ( x ) Q ( x ) {\displaystyle (-\log Q(x))-(-\log P(x))=\log {\frac {P(x)}{Q(x)}}} だけの自己情報量を得た事になる。x は X に従って変わるので、この値の（事後確率分布による）平均値をとると、 ∑ x P ( x ) log P ( x ) Q ( x ) {\displaystyle \sum _{x}P(x)\log {\frac {P(x)}{Q(x)}}} となる。これはカルバック・ライブラー情報量と一致する。 すなわち、カルバック・ライブラー情報量は、X に関してデータ I から得られる情報量の平均値を表している事になる。以上の理由により、カルバック・ライブラー情報量は情報利得(Information gain)とも呼ばれる。
※この「ベイズ確率による説明」の解説は、「カルバック・ライブラー情報量」の解説の一部です。
「ベイズ確率による説明」を含む「カルバック・ライブラー情報量」の記事については、「カルバック・ライブラー情報量」の概要を参照ください。
- ベイズ確率による説明のページへのリンク
