情報理論におけるエントロピーとの関係
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/08/09 02:46 UTC 版)
「エントロピー」の記事における「情報理論におけるエントロピーとの関係」の解説
「情報量」も参照 情報理論においてエントロピーは確率変数が持つ情報の量を表す尺度で、それゆえ情報量とも呼ばれる。確率変数Xに対し、XのエントロピーH(X)は H ( X ) = − ∑ i P i ln P i {\displaystyle H(X)=-\sum _{i}P_{i}\ln P_{i}\,} (ここでPiはX = iとなる確率) で定義されており、これは統計力学におけるエントロピーと定数倍を除いて一致する。この定式化を行ったのはクロード・シャノンである。 これは単なる数式上の一致ではなく、統計力学的な現象に対して情報理論的な意味づけを与える事ができることを示唆する。情報量は確率変数Xが数多くの値をとればとるほど大きくなる傾向があり、したがって情報量はXの取る値の「乱雑さ」を表す尺度であると再解釈できる。よって情報量の概念は、原子や分子の「乱雑さの尺度」を表す統計力学のエントロピーと概念的にも一致する。 しかし、情報のエントロピーと物理現象の結びつきは、シャノンによる研究の時点では詳らかではなかった。この結びつきは、マクスウェルの悪魔の問題が解決される際に決定的な役割を果たした。シラードは、悪魔が分子について情報を得る事が熱力学的エントロピーの増大を招くと考えたが、これはベネットにより可逆な（エントロピーの変化ない）観測が可能である、と反例が示された。最終的な決着は1980年代にまで持ち越された。ランダウアーがランダウアーの原理として示していたことであったのだが、悪魔が繰り返し働く際に必要となる、分子についての以前の情報を忘れる事が熱力学的エントロピーの増大を招く、として、ベネットによりマクスウェルの悪魔の問題は解決された。 この原理によれば、コンピュータがデータを消去するときに熱力学的なエントロピーが発生するので、通常の（可逆でない＝非可逆な）コンピュータが計算に伴って消費するエネルギーには下限があることが知られている（ランダウアーの原理。ただし現実の一般的なコンピュータの発熱とは比べるべくもない規模である）。また理論的には可逆計算はいくらでも少ない消費エネルギーで行うことができる。 さらにエドウィン・ジェインズ（英語版）は統計力学におけるギブズの手法を抽象することで、統計学・情報理論における最大エントロピー原理を打ち立てた。この結果、ギブズの手法は統計学・情報理論の統計力学への一応用例として再解釈されることになった。 統計力学と情報理論の関係は量子力学においても成立しており、量子統計力学におけるフォン・ノイマンエントロピーは量子情報の情報量を表していると再解釈された上で、量子情報や量子計算機の研究で使われている。
※この「情報理論におけるエントロピーとの関係」の解説は、「エントロピー」の解説の一部です。
「情報理論におけるエントロピーとの関係」を含む「エントロピー」の記事については、「エントロピー」の概要を参照ください。
- 情報理論におけるエントロピーとの関係のページへのリンク
