最大エントロピー原理

ウィキペディア

最大エントロピー原理

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/18 14:11 UTC 版)

統計学
ベイズ統計学
理論
許容決定規則 ベイズ効率性 ベイズ確率 確率の解釈 ベイズの定理 ベイズ因子 ベイズ推定 ベイジアンネットワーク 事前確率 事後確率 尤度 共役事前分布 事後予測分布 ハイパーパラメータ ハイパーパラメータの事前分布 等確率の原理 最大エントロピー原理 経験ベイズ法 クロムウェルの差止め規則 ベルンシュテイン＝フォン・ミーゼス定理 シュワルツ情報量規準 信用区間 最大事後確率推定 根源的蓋然論
技法
ベイズ線形回帰 ベイズ推定量 近似ベイズ計算 マルコフ連鎖モンテカルロ法
表 話 編 歴

最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（最大エントロピー熱力学）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。

概要

今確率変数 X について、X が条件 I を満たす事だけが分かっており、それ以外に X に関して何1つ知らなかったとする。このとき、X が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は X について条件 I 以外には何も知らないのだから、条件 I の下で X の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。

最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 I の下で最大にするよう分布を選ぶべきである、という原理である。ただし X の取る値が連続的な場合は、技術的な理由により微分エントロピーではなく、後述の相対エントロピーを最大化する（Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。）。

X が従う確率分布を p とするとき、束縛条件 I として

$g_{k}({\boldsymbol {p}})=0\quad k=1,2,\dotsc \,$

• イスラエル
• アメリカ

ウィキペディア小見出し辞書

最大エントロピー原理

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/05/05 13:08 UTC 版)

「気体」の記事における「最大エントロピー原理」の解説

詳細は「最大エントロピー原理」を参照 自由度が無限大に近づくにつれて、系は極めて多様性が高い「巨視的状態 (macrostate)」となる。例えば、冷凍した金属棒の表面の温度を観測し、サーモグラフィ映像で表面の温度分布を見てみればよい。ある時点の温度分布観測によって「微視的状態 (microstate)」が得られ、時間をおいて何度も温度分布を観測することで一連の微視的状態が得られる。この微視的状態の履歴から、それらを全て1つの分類に属する巨視的状態を選ぶことが可能である。