情報量
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/04/10 16:32 UTC 版)
Renyiエントロピー
を、台が有限集合である確率空間とする。Pを上の確率分布とし、を非負の実数とする。
のとき、Pのdegee のRenyiエントロピーを
によって定義する。 また、の場合には、Renyiエントロピーを
によって定義する。
単にRenyiエントロピーと言った場合はを意味することも多い。
さらに、確率変数Xが確率分布Pに従うとき、をによって定義する。
Renyiエントロピーは以下の性質を満たす:
- が成立する。
- はシャノン情報量 と一致する。
- が2以上の整数の場合には、 が成立する。ここで、 は確率分布 に従う独立同一分布であって、 は をそれぞれ に従って選んだときに が成立する確率とする。
- が成立する。この をminエントロピーともいう。
- ^ Gray, Robert M. (2013-03-14) (英語). Entropy and Information Theory. Springer Science & Business Media. ISBN 978-1-4757-3982-4
- ^ この分割は離散型確率変数の確率質量関数から誘導されることもある[1]。
- ^ Cover, Thomas M.; Thomas, Joy A. (2012-11-28) (英語). Elements of Information Theory. John Wiley & Sons. ISBN 978-1-118-58577-1
- ^ fX(x) をと書くこともある。
- ^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53:840–856
- ^ Cover & Thomas 2006, Historical Notes.
- ^ 『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。
- ^ 韓太舜、小林欣吾『情報と符号の数理』
- ^ CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982
- ^ なお、JIS X 0016:1997 で定義される選択情報量(decision content)も同じ定義である。「互いに排反な事象から成る有限集合中の事象の数の対数。」
- 情報量のページへのリンク