一般解
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/12/29 10:03 UTC 版)
「最大エントロピー原理」の記事における「一般解」の解説
X を実数値の確率変数とし、 k=1,...,m に対し、 Tk を実数値関数、 tk は実数とする。今 X の統計量 Tk(X) の期待値が tk である、すなわち (1) ∫ p ( x ) T k ( x ) d x = t k k = 1 , … , m {\displaystyle \int p(x)T_{k}(x)dx=t_{k}\qquad k=1,\dotsc ,m} である事が分かっているとする。さらにもちろん確率の総和は 1 であるという事も分かっている。すなわち、 (2) ∫ p ( x ) = 1. {\displaystyle \int p(x)=1.\,} これらの条件下、相対エントロピー − ∫ p ( x ) log p ( x ) m ( x ) d x {\displaystyle -\int p(x)\log {\frac {p(x)}{m(x)}}\,dx} を最大化する分布の確率密度関数p(x) は以下のものである： p ( x ) = 1 Z ( λ 1 , … , λ m ) m ( x ) exp [ λ 1 T 1 ( x ) + ⋯ + λ m T m ( x ) ] {\displaystyle p(x)={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}m(x)\exp \left[\lambda _{1}T_{1}(x)+\dotsb +\lambda _{m}T_{m}(x)\right]} ここで Z ( λ 1 , … , λ m ) {\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})} は「正規化定数」（=確率の和が1になるよう全体を調整する為の値）であり、 Z ( λ 1 , … , λ m ) = ∫ m ( x ) exp [ λ 1 T 1 ( x ) + ⋯ + λ m T m ( x ) ] d x . {\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int m(x)\exp \left[\lambda _{1}T_{1}(x)+\dotsb +\lambda _{m}T_{m}(x)\right]dx.\,} またλ1,..., λmは未定乗数法におけるラグランジュ乗数であり、これらは連立方程式 t k = ∂ ∂ λ k log Z ( λ 1 , … , λ m ) k = 1 , … , m {\displaystyle t_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m})\qquad k=1,\dotsc ,m} を満たす値として定まる。この連立方程式は一般には解析的に解くことができないので、数値解析で解くのが普通である。 最大エントロピー原理では m(x) を既知として扱うので、 m(x) は最大エントロピー原理では決定できない。よって何らかの他の論理的手法、例えば「変換群の原理; principle of transformation groups」や条件付き確率、で決定しなければならない。
※この「一般解」の解説は、「最大エントロピー原理」の解説の一部です。
「一般解」を含む「最大エントロピー原理」の記事については、「最大エントロピー原理」の概要を参照ください。
一般解
- 一般解のページへのリンク
