対数尤度との関係
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/10/23 03:20 UTC 版)
「交差エントロピー」の記事における「対数尤度との関係」の解説
分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 i {\displaystyle i} の頻度（経験的確率）が p i {\displaystyle p_{i}} である一方、事象 i {\displaystyle i} の確率が q i {\displaystyle q_{i}} と推定されたとすると、訓練集合の尤度は次のようになる。 ∏ i q i N p i {\displaystyle {\displaystyle \prod _{i}q_{i}^{Np_{i}}}} この対数尤度をNで割ると、 1 N log ∏ i q i N p i = ∑ i p i log q i = − H ( p , q ) {\displaystyle {\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}} となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。
※この「対数尤度との関係」の解説は、「交差エントロピー」の解説の一部です。
「対数尤度との関係」を含む「交差エントロピー」の記事については、「交差エントロピー」の概要を参照ください。
ウィキペディア小見出し辞書の「対数尤度との関係」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。
お問い合わせ。
- 対数尤度との関係のページへのリンク
