シャノンの情報源符号化定理
(情報源符号化定理 から転送)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/11/04 17:48 UTC 版)
情報理論において、シャノンの情報源符号化定理（シャノンのじょうほうげんふごうかていり、英語: Shannon's source coding theorem, noiseless coding theorem）は、データ圧縮の可能な限界と情報量（シャノンエントロピー）の操作上の意味を確立する定理である。1948年のクロード・シャノンの論文『通信の数学的理論』で発表された。シャノンの第二基本定理（通信路符号化定理）に対してシャノンの第一基本定理とも言う。
- ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
- ^ David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
- ^ Cover, Thomas M. (2006). “Chapter 5: Data Compression”. Elements of Information Theory. John Wiley & Sons. ISBN 0-471-24195-4
[続きの解説]
「シャノンの情報源符号化定理」の続きの解説一覧
- 1 シャノンの情報源符号化定理とは
- 2 シャノンの情報源符号化定理の概要
- 3 提示
- 4 証明
- 5 非定常独立系への拡張
- 6 関連項目
情報源符号化定理
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/11/13 23:47 UTC 版)
「シャノンの情報源符号化定理」の記事における「情報源符号化定理」の解説
情報源符号化定理(Shannon 1948)は以下のように非形式的に提示されている(MacKay 2003, pg. 81, Cover:Chapter 5)。 情報量 H(X) を持つ N 個の独立同分布の確率変数は、N → ∞のとき、無視できるほどの情報損失のリスクをもって N H(X) ビット以上に圧縮できる。しかし、N H(X) ビット以下に圧縮されたとき、情報が失われることは事実上確実である。
※この「情報源符号化定理」の解説は、「シャノンの情報源符号化定理」の解説の一部です。
「情報源符号化定理」を含む「シャノンの情報源符号化定理」の記事については、「シャノンの情報源符号化定理」の概要を参照ください。
ウィキペディア小見出し辞書の「情報源符号化定理」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ。
- 情報源符号化定理のページへのリンク
