相対エントロピーとは何？わかりやすく解説 Weblio辞書

カルバック・ライブラー情報量

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/04/15 02:54 UTC 版)

カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。

「カルバック・ライブラー情報量」の続きの解説一覧

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/12/29 10:03 UTC 版)

「最大エントロピー原理」の記事における「相対エントロピー」の解説

確率変数 X が従う分布の密度関数を p(x) とし、 m(x) を確率分布（もしくはより一般に非負の測度）の密度関数とするとき、p(x) の m(x) に対する相対エントロピーは − ∫ p ( x ) log ⁡ p ( x ) m ( x ) d x {\displaystyle -\int p(x)\log {\frac {p(x)}{m(x)}}\mathrm {d} x} により定義される (Jaynes 1963), (Jaynes 1968), (Jaynes 2003)（m(x) が確率分布であれば、相対エントロピーはカルバック・ライブラー情報量に一致）。なお、通常のシャノン・エントロピー − ∑ i ∈ I p i log ⁡ p i {\displaystyle -\sum _{i\in I}p_{i}\log p_{i}} は X の値域 I が有限集合で、 m(x) が I 上の一様分布である場合の相対エントロピーと一致する。

※この「相対エントロピー」の解説は、「最大エントロピー原理」の解説の一部です。
「相対エントロピー」を含む「最大エントロピー原理」の記事については、「最大エントロピー原理」の概要を参照ください。

ウィキペディア小見出し辞書の「相対エントロピー」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。お問い合わせ。


	All text is available under the terms of the GNU Free Documentation License. この記事は、ウィキペディアのカルバック・ライブラー情報量 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。
	Text is available under GNU Free Documentation License (GFDL). Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、Wikipediaの最大エントロピー原理 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。