情報理論の考案
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/14 18:00 UTC 版)
「クロード・シャノン」の記事における「情報理論の考案」の解説
1948年ベル研究所在勤中に論文「通信の数学的理論」を発表し、それまで曖昧な概念だった「情報」(information)について定量的に扱えるように定義し、情報についての理論（情報理論）という新たな数学的理論を創始した。 翌年ウォーレン・ウィーバーの解説を付けて出版された同名（ただし“A”が“The”に変わっている）の書籍『通信の数学的理論』で、シャノンは通信におけるさまざまな基本問題を取り扱うために、エントロピーの概念を導入した。情報の量（情報量）を事象の起こる確率（生起確率）によって定義し、エントロピー（平均情報量）を次のとおりに定義した。時間的に連続して起こる離散的な確率事象 X {\displaystyle X} の生起確率 Pr [ X = i ] {\displaystyle \Pr[X=i]} によって定まる情報量 ( − log Pr [ X = i ] {\displaystyle -\log \Pr[X=i]} ) の期待値が、エントロピー H ( X ) {\displaystyle H(X)} である（エントロピー#情報理論におけるエントロピーとの関係も参照）。 H ( X ) = − ∑ i Pr [ X = i ] log Pr [ X = i ] {\displaystyle H(X)=-\sum _{i}\Pr[X=i]\log \Pr[X=i]\quad } (台が有限の場合) エントロピーの語を提案したのはフォン・ノイマンとも言われているが、シャノンは否定している。また、情報量の単位としてビットを初めて使用した。 そして、ノイズ（雑音）がない通信路で効率よく情報を伝送するための符号化（「情報源符号化定理」または「シャノンの第一基本定理」）と、ノイズがある通信路で正確に情報を伝送するための誤り訂正符号（「通信路符号化定理」または「シャノンの第二基本定理」）という現在のデータ伝送での最も重要な概念を導入した。これらはそれぞれデータ圧縮の分野と誤り訂正符号の分野の基礎理論となっている。通信路符号化定理は単一通信路あたりの伝送容量に上限があることを意味する。 これらの定理は現在、携帯電話などでの通信技術の基礎理論となっており、その後の情報革命と呼ばれる情報技術の急速な発展に結びついている。
※この「情報理論の考案」の解説は、「クロード・シャノン」の解説の一部です。
「情報理論の考案」を含む「クロード・シャノン」の記事については、「クロード・シャノン」の概要を参照ください。
- 情報理論の考案のページへのリンク
