情報ダイバージェンス
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/03/01 17:38 UTC 版)
「ラドン=ニコディムの定理」の記事における「情報ダイバージェンス」の解説
μ および ν は X 上の測度で、μ ≪ ν が成り立つものとする。 μ から ν へのカルバック・ライブラー情報量は、次で定義される。 D K L ( μ ‖ ν ) = ∫ X log ( d μ d ν ) d μ . {\displaystyle D_{\mathrm {KL} }(\mu \|\nu )=\int _{X}\log \left({\frac {d\mu }{d\nu }}\right)\;d\mu .} α > 0, α ≠ 1 に対し、μ から ν への位数 α のレニーダイバージェンス(英語版)は、次で定義される。 D α ( μ ‖ ν ) = 1 α − 1 log ( ∫ X ( d μ d ν ) α − 1 d μ ) . {\displaystyle D_{\alpha }(\mu \|\nu )={\frac {1}{\alpha -1}}\log \left(\int _{X}\left({\frac {d\mu }{d\nu }}\right)^{\alpha -1}\;d\mu \right).}
※この「情報ダイバージェンス」の解説は、「ラドン=ニコディムの定理」の解説の一部です。
「情報ダイバージェンス」を含む「ラドン=ニコディムの定理」の記事については、「ラドン=ニコディムの定理」の概要を参照ください。
- 情報ダイバージェンスのページへのリンク