離散無記憶通信路の弱逆定理
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/09 22:52 UTC 版)
「シャノンの通信路符号化定理」の記事における「離散無記憶通信路の弱逆定理」の解説
2 n R {\displaystyle 2^{nR}} 個の符号語からなる符号について考える。Wは、この集合から一様的に選んだ符号語の番号であるとする。 X n {\displaystyle X^{n}} および Y n {\displaystyle Y^{n}} は、それぞれ送出した符号語と受信した符号語であるとする。 n R = H ( W ) = H ( W | Y n ) + I ( W ; Y n ) {\displaystyle nR=H(W)=H(W|Y^{n})+I(W;Y^{n})} （エントロピーと相互情報量に関する恒等式を用いて） ≤ H ( W | Y n ) + I ( X n ( W ) ; Y n ) {\displaystyle \leq H(W|Y^{n})+I(X^{n}(W);Y^{n})} （XはWの関数であるため） ≤ 1 + P e ( n ) n R + I ( X n ( W ) ; Y n ) {\displaystyle \leq 1+P_{e}^{(n)}nR+I(X^{n}(W);Y^{n})} （ファノの不等式を用いて） ≤ 1 + P e ( n ) n R + n C {\displaystyle \leq 1+P_{e}^{(n)}nR+nC} （通信路容量は、相互情報量を最大化したものであることから） これらのステップの結果として、 P e ( n ) ≥ 1 − 1 n R − C R {\displaystyle P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}} が得られる。R が C よりも大きい場合、ブロック長 n {\displaystyle n} を無限大に持って行くと、 P e ( n ) {\displaystyle P_{e}^{(n)}} は0より大きな下界を持つことになる。任意に小さな誤り率を得ることができるのは、R が C より小さい場合に限られる。
※この「離散無記憶通信路の弱逆定理」の解説は、「シャノンの通信路符号化定理」の解説の一部です。
「離散無記憶通信路の弱逆定理」を含む「シャノンの通信路符号化定理」の記事については、「シャノンの通信路符号化定理」の概要を参照ください。
- 離散無記憶通信路の弱逆定理のページへのリンク
