通信路容量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/01/12 14:48 UTC 版)
通信路容量（つうしんろようりょう）または伝送路容量（でんそうろようりょう、英: Channel capacity）は、電気工学、計算機科学や情報理論において通信路に対して定義される量であり、通信路を介して確実に伝送できる情報の量の上限である。
- ^ Cover & Thomas 2006, p. 187.
- ^ Cover & Thomas 2006, p. 188.
- 1 通信路容量とは
- 2 通信路容量の概要
- 3 通信路符号化定理
通信路容量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/11/06 03:37 UTC 版)
「加算性白色ガウス雑音」の記事における「通信路容量」の解説
AWGNの通信路は離散時間の事象の添え字 i {\displaystyle i} とする一連の出力 Y i {\displaystyle Y_{i}} により表される。 Y i {\displaystyle Y_{i}} は入力 X i {\displaystyle X_{i}} と雑音 Z i {\displaystyle Z_{i}} の和である。 Z i {\displaystyle Z_{i}} は独立同分布であり、平均0、分散 N {\displaystyle N} の正規分布から得られるものである。さらに Z i {\displaystyle Z_{i}} は X i {\displaystyle X_{i}} と相関しないと仮定される。 Z i ∼ N ( 0 , N ) {\displaystyle Z_{i}\sim {\mathcal {N}}(0,N)\,\!} Y i = X i + Z i . {\displaystyle Y_{i}=X_{i}+Z_{i}.\,\!} 雑音nが0ではなく、 X i {\displaystyle X_{i}} が十分に制約されない限り、通信路の容量は無限である。入力に対する最も一般的な制約は、いわゆる「パワー」制約であり、通信路を介して送信されるコード名 ( x 1 , x 2 , … , x k ) {\displaystyle (x_{1},x_{2},\dots ,x_{k})} に対して必要なものである。 1 k ∑ i = 1 k x i 2 ≤ P , {\displaystyle {\frac {1}{k}}\sum _{i=1}^{k}x_{i}^{2}\leq P,} ここで P {\displaystyle P} は最大の通信路容量を表す。よって、パワーが制限された通信路の容量は以下になる。 C = max f ( x ) s.t. E ( X 2 ) ≤ P I ( X ; Y ) {\displaystyle C=\max _{f(x){\text{ s.t. }}E\left(X^{2}\right)\leq P}I(X;Y)\,\!} f ( x ) {\displaystyle f(x)} は X {\displaystyle X} の分布である。 I ( X ; Y ) {\displaystyle I(X;Y)} を展開し、微分エントロピーの観点から書くと以下の式になる。 I ( X ; Y ) = h ( Y ) − h ( Y | X ) = h ( Y ) − h ( X + Z | X ) = h ( Y ) − h ( Z | X ) {\displaystyle {\begin{aligned}I(X;Y)=h(Y)-h(Y|X)&=h(Y)-h(X+Z|X)&=h(Y)-h(Z|X)\end{aligned}}\,\!} しかし X {\displaystyle X} と Z {\displaystyle Z} は独立である。よって I ( X ; Y ) = h ( Y ) − h ( Z ) {\displaystyle I(X;Y)=h(Y)-h(Z)\,\!} となる。ガウスの微分エントロピーを評価すると h ( Z ) = 1 2 log ( 2 π e N ) {\displaystyle h(Z)={\frac {1}{2}}\log(2\pi eN)\,\!} となる。 X {\displaystyle X} と Z {\displaystyle Z} は独立で、それらの和が Y {\displaystyle Y} になるから、: E ( Y 2 ) = E ( ( X + Z ) 2 ) = E ( X 2 ) + 2 E ( X ) E ( Z ) + E ( Z 2 ) = P + N {\displaystyle E(Y^{2})=E((X+Z)^{2})=E(X^{2})+2E(X)E(Z)+E(Z^{2})=P+N\,\!} この範囲より、微分エントロピーの性質を推測すると h ( Y ) ≤ 1 2 log ( 2 π e ( P + N ) ) {\displaystyle h(Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))\,\!} となる。よって通信路の容量は相互情報量における達成可能な最大の境界で与えられ、 I ( X ; Y ) ≤ 1 2 log ( 2 π e ( P + N ) ) − 1 2 log ( 2 π e N ) {\displaystyle I(X;Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))-{\frac {1}{2}}\log(2\pi eN)\,\!} I ( X ; Y ) {\displaystyle I(X;Y)} は X ∼ N ( 0 , P ) {\displaystyle X\sim {\mathcal {N}}(0,P)\,\!} のときに最大となり、このとき通信路容量 C {\displaystyle C} は以下となる。 C = 1 2 log ( 1 + P N ) {\displaystyle C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!}
※この「通信路容量」の解説は、「加算性白色ガウス雑音」の解説の一部です。
「通信路容量」を含む「加算性白色ガウス雑音」の記事については、「加算性白色ガウス雑音」の概要を参照ください。
通信路容量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/02/14 14:38 UTC 版)
詳細は「シャノンの通信路符号化定理」を参照 イーサネットなどの通信路上の通信が情報理論構築の主な動機である。電話を使ったことのある人なら誰でも経験することだが、そのような通信路では正確な信号の再現に失敗することもよくあり、ノイズや一時的な信号の途絶などにより信号が識別不能となることがある。そのようなノイズの多い通信路でどれだけの情報を伝えることが期待できるだろうか？ 離散的な通信路による通信を考える。X を転送されるメッセージの集合とし、Y をある一定時間内にその通信路経由で受信したメッセージの集合とする。ここで、 p ( y | x ) {\displaystyle p(y|x)} を x が送信されたときに y が受信される条件付き確率の分布関数とする。ここで、 p ( y | x ) {\displaystyle p(y|x)} がその通信路に固有の属性であるとする（この通信路のノイズの性質を表している）。この通信路での X と Y の同時分布は、我々がこの通信路に送り出すメッセージの周辺分布 f ( x ) {\displaystyle f(x)} から求められる。この条件で通信できる情報量を最大化したい。この尺度となるのが伝達情報量であり、伝達情報量の最大値を通信路容量と呼んで次の式で表す: C = max f I ( X ; Y ) . {\displaystyle C=\max _{f}I(X;Y).\!} 通信路容量は情報レート R（ここで R は記号ごとのビット数）による通信と次のような関係がある。R < C であるような情報レートで符号誤り率 ε> 0 である場合、十分大きな数 N について、コードの長さが N で情報レートが R 以上かつ誤り率が ε 以下となるような符号化アルゴリズムが存在し、非常に低い誤り率で通信を行える可能性がある。さらに R > Cであるような情報レートでは、低い誤り率で通信を行うことは不可能である。
※この「通信路容量」の解説は、「情報理論」の解説の一部です。
「通信路容量」を含む「情報理論」の記事については、「情報理論」の概要を参照ください。
- 通信路容量のページへのリンク
