情報量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/04/10 16:32 UTC 版)
単位
情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので，単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。
また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997（これは国際規格 ISO/IEC 2382-16:1996と一致している）は、これらの量を表す単位を別に定めている。
| 底 | 通常の単位 | JISおよびISOが定めた単位 | 備考 |
|---|---|---|---|
| 2 | ビット (bit) | シャノン (shannon) | lb, 二進対数 |
| e=2.718… | ナット (nat) | ナット (nat) | ln, 自然対数 |
| 10 | ディット (dit) | ハートレー (hartley) | lg, 常用対数 |
単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。
脚注
参考文献
- Shannon entropy calculator (English)
- A Mathematical Theory of Communication Shannon 1948 (English)
- Cover, Thomas M.; Thomas, Joy A. (2006). Elements of information theory (Second ed.). John Wiley & Sons. ISBN 978-0-471-24195-9. MR2239987
関連項目
- ^ Gray, Robert M. (2013-03-14) (英語). Entropy and Information Theory. Springer Science & Business Media. ISBN 978-1-4757-3982-4
- ^ この分割は離散型確率変数の確率質量関数から誘導されることもある[1]。
- ^ Cover, Thomas M.; Thomas, Joy A. (2012-11-28) (英語). Elements of Information Theory. John Wiley & Sons. ISBN 978-1-118-58577-1
- ^ fX(x) をと書くこともある。
- ^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53:840–856
- ^ Cover & Thomas 2006, Historical Notes.
- ^ 『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。
- ^ 韓太舜、小林欣吾『情報と符号の数理』
- ^ CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982
- ^ なお、JIS X 0016:1997 で定義される選択情報量（decision content）も同じ定義である。「互いに排反な事象から成る有限集合中の事象の数の対数。」
- 情報量のページへのリンク
