定量的定義

ウィキペディア小見出し辞書

定量的定義

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2013/09/24 17:22 UTC 版)

「冗長性 (情報理論)」の記事における「定量的定義」の解説

データの冗長性を表現するにあたって、まず情報源のエントロピー率（レート）が記号ごとのエントロピーの平均であることに注目する。メモリをもたない情報源では、これは単に各記号のエントロピーだが、多くの確率過程では次のようになる。 これは n 個の記号の結合エントロピーを n で割ったものの n が無限大になったときの極限である。情報理論では、言語の「レート」や「エントロピー」を扱うことが多い。これは例えば、情報源が英語などの言語の文である場合には適切である。メモリのない情報源では、その逐次的メッセージ列に相互依存が全くないため、レートは定義から となる。 言語または情報源の絶対レート（absolute rate）は単純に次のようになる。 これは、メッセージ空間あるいはアルファベットの濃度（cardinality）の対数である。この式を「ハートレー関数 (Hartley function)」と呼ぶこともある。これがそのアルファベットで転送可能な情報の最大のレートとなる。対数の底は測定単位を考慮して決定される。情報源にメモリがなく、一様分布であるとき、絶対レートは実際のレートと等しい。 以上から、絶対冗長性（絶対冗長量）は次のように定義される。 これはつまり、絶対レートと実際のレートの差である。 を相対冗長性（相対冗長量）と呼び、可能な最大データ圧縮比を表している。すなわち、ファイルサイズがどれだけ削減できるかということと等価である。冗長性と対をなす概念として効率（efficiency）があり、 で表される。したがって、 である。メモリのない一様分布の情報源は、冗長性がゼロで効率が100%であり、圧縮できない。