交差エントロピー最小化
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/23 03:20 UTC 版)
「交差エントロピー」の記事における「交差エントロピー最小化」の解説
交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である（交差エントロピー法）。 確率分布 q {\displaystyle q} を参照用固定確率分布 p {\displaystyle p} と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（ p {\displaystyle p} が固定なので）付加的な定数を除いて同一である。どちらも p = q {\displaystyle p=q} であるとき最小値となり、カルバック・ライブラーの値は 0 {\displaystyle 0} 、交差エントロピーの値は H ( p ) {\displaystyle \mathrm {H} (p)} となる。 ただし、カルバック・ライブラー情報量参照のとおり、q を固定の参照用確率分布とし、p を最適化して q に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。
※この「交差エントロピー最小化」の解説は、「交差エントロピー」の解説の一部です。
「交差エントロピー最小化」を含む「交差エントロピー」の記事については、「交差エントロピー」の概要を参照ください。
ウィキペディア小見出し辞書の「交差エントロピー最小化」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。
お問い合わせ。
- 交差エントロピー最小化のページへのリンク
