情報量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/04/10 16:32 UTC 版)
情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
- ^ Gray, Robert M. (2013-03-14) (英語). Entropy and Information Theory. Springer Science & Business Media. ISBN 978-1-4757-3982-4
- ^ この分割は離散型確率変数の確率質量関数から誘導されることもある[1]。
- ^ Cover, Thomas M.; Thomas, Joy A. (2012-11-28) (英語). Elements of Information Theory. John Wiley & Sons. ISBN 978-1-118-58577-1
- ^ fX(x) をと書くこともある。
- ^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53:840–856
- ^ Cover & Thomas 2006, Historical Notes.
- ^ 『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。
- ^ 韓太舜、小林欣吾『情報と符号の数理』
- ^ CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982
- ^ なお、JIS X 0016:1997 で定義される選択情報量（decision content）も同じ定義である。「互いに排反な事象から成る有限集合中の事象の数の対数。」
[続きの解説]
「情報量」の続きの解説一覧
- 情報量のページへのリンク
