より一般的な場合の正当化
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/12/29 10:03 UTC 版)
「最大エントロピー原理」の記事における「より一般的な場合の正当化」の解説
上ではカケラが m 個の場所のどれに配置されるのも等確率である場合を考察したが、より一般に配置される場所毎に確率が異なる場合を考察する。 i 番目の場所に配置される確率が qi であるとすると、 p {\displaystyle {\boldsymbol {p}}} は（条件 I の付いた）多項分布に従う事から、 Pr [ p ∣ I ] {\displaystyle \Pr[{\boldsymbol {p}}\mid I]} は W = N ! n 1 ! n 2 ! ⋯ n m ! q 1 n 1 ⋯ q m n m {\displaystyle W={\frac {N!}{n_{1}!n_{2}!\dotsb n_{m}!}}{q_{1}}^{n_{1}}\dotsb {q_{m}}^{n_{m}}} に比例する。 よってこの場合は 1 N log W = ( log N ! − ∑ i log n i ! q i n i ) / N ≈ ( N log N − ∑ i n i log n i q i ) / N = log N − ∑ i p i log N p i q i = − ∑ i p i log p i q i {\displaystyle {\begin{aligned}&{\frac {1}{N}}\log W=\left(\log N!-\sum _{i}\log {\frac {n_{i}!}{{q_{i}}^{n_{i}}}}\right)/N\approx \left(N\log N-\sum _{i}n_{i}\log {\frac {n_{i}}{q_{i}}}\right)/N=\log N-\sum _{i}p_{i}\log {\frac {Np_{i}}{q_{i}}}=-\sum _{i}p_{i}\log {\frac {p_{i}}{q_{i}}}\end{aligned}}} となり、相対エントロピーを最大化するように X の分布を選ぶ事となる。
※この「より一般的な場合の正当化」の解説は、「最大エントロピー原理」の解説の一部です。
「より一般的な場合の正当化」を含む「最大エントロピー原理」の記事については、「最大エントロピー原理」の概要を参照ください。
- より一般的な場合の正当化のページへのリンク
