離散の場合の解
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/12/29 10:03 UTC 版)
「最大エントロピー原理」の記事における「離散の場合の解」の解説
今、確率変数 X が前述した(1)、(2)の条件の他に (3) X の値域は {x1, x2,..., xn} である という事が分かっていたとする。（すなわちX は離散確率分布。） さらに m(x)=1 である場合（この場合相対エントロピーは通常の離散の場合のエントロピーと一致）を考える。 このとき、制約条件(1)、(2)、(3)の下で最大エントロピーを達成する分布の確率密度関数p(x) は以下のもの(ギブズ分布)になる: p ( x i ) = 1 Z ( λ 1 , … , λ m ) exp [ λ 1 T 1 ( x i ) + ⋯ + λ m T m ( x i ) ] {\displaystyle p(x_{i})={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}\exp \left[\lambda _{1}T_{1}(x_{i})+\dotsb +\lambda _{m}T_{m}(x_{i})\right]} Z ( λ 1 , ⋯ , λ m ) {\displaystyle Z(\lambda _{1},\cdots ,\lambda _{m})} およびλ1, …, λm は前述と同様の式で求まる。 なお、上の解において ( T 1 , . . . , T m ) {\displaystyle (T_{1},...,T_{m})} をX の統計量と見なすと、 ( T 1 , . . . , T m ) {\displaystyle (T_{1},...,T_{m})} はパラメータ (λ1,..., λm) の十分統計量である。興味深い事に、確率分布が十分統計量を持つ必要十分条件は、確率密度関数が上の形で書ける事である(Pitman-Koopmanの定理)。詳細はen:exponential familyを参照。
※この「離散の場合の解」の解説は、「最大エントロピー原理」の解説の一部です。
「離散の場合の解」を含む「最大エントロピー原理」の記事については、「最大エントロピー原理」の概要を参照ください。
- 離散の場合の解のページへのリンク
