情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/08/26 01:48 UTC 版)
歴史的背景
1948年6月と10月、クロード・シャノンは Bell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。
この論文以前、ベル研究所で考えられていた情報の理論は限定的であり、あらゆる事象が同じ確率で発生することを暗黙の前提としていた。1924年、ハリー・ナイキストの論文 Certain Factors Affecting Telegraph Speed（テレグラフの速度を制限する要因）では、通信システムにおける「情報; intelligence」と「回線速度」の定量化に関する理論が述べられている。それによると、情報の転送速度 W は で表され、m は選択可能な電圧レベル数、K はある定数である。1928年、ラルフ・ハートレーの論文 Transmission of Information（情報の伝送）では、測定可能な量として「情報; information」という用語が使われている。その中で情報の定量化は で表され、S は文字の種類数、n は伝送された文字数であるとした。後に十進の情報量を表す単位をハートレー（Hartまたはhartley）と呼ぶようになった。1940年、アラン・チューリングは、第二次世界大戦時のドイツ軍の暗号統計解析の一部として同様の考え方を使った。
確率の異なる事象群を扱う情報理論の基礎となる数学は、ルートヴィッヒ・ボルツマンとウィラード・ギブスによる統計力学からもたらされた。情報理論におけるエントロピーと熱力学におけるエントロピーは単なる用語の類似以上の関連がある（ランダウアーの原理参照）。
シャノンの革新的論文については、ベル研究所での研究で1944年末ごろには実際の研究はほとんど済んでいた。シャノンの理論は情報理論の基礎となる静的プロセスとしての通信のモデルを提案し、論文冒頭で次のように表明している。
「通信の基本的課題は、ある地点で選択されたメッセージを正確または近似的に別の地点で再生することである」
それと共に次のような概念が提唱された。
- 情報源の情報エントロピー、冗長性、情報源符号化
- ノイズのある通信路での伝達情報量、通信路容量、通信路符号化
- シャノン＝ハートレーの定理の応用としてのガウスノイズのある通信路での通信路容量
- 情報の基本単位であるビット
固有名詞の分類
- 情報理論のページへのリンク
