最大エントロピー原理
(最大エントロピー法 から転送)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/18 14:11 UTC 版)
|
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。（2021年2月）
|
| 統計学 |
| ベイズ統計学 |
|---|
 |
| 理論 |
|
| 技法 |
|
最大エントロピー原理（さいだいエントロピーげんり、英: principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（最大エントロピー熱力学）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。
概要
今確率変数 X について、X が条件 I を満たす事だけが分かっており、それ以外に X に関して何1つ知らなかったとする。このとき、X が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は X について条件 I 以外には何も知らないのだから、条件 I の下で X の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。
最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 I の下で最大にするよう分布を選ぶべきである、という原理である。ただし X の取る値が連続的な場合は、技術的な理由により微分エントロピーではなく、後述の相対エントロピーを最大化する（Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。）。
X が従う確率分布を p とするとき、束縛条件 I として
最大エントロピー原理と同じ種類の言葉
Weblioに収録されているすべての辞書から最大エントロピー原理を検索する場合は、下記のリンクをクリックしてください。
全ての辞書から最大エントロピー原理
を検索
- 最大エントロピー原理のページへのリンク
