じょうほう‐りろん〔ジヤウホウ‐〕【情報理論】
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/08/26 01:48 UTC 版)
情報理論（じょうほうりろん、英: Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2018/08/02 06:48 UTC 版)
二進対数は二進法と密接に関係しているため、計算機科学や情報理論でしばしば使われる。この文脈において、二進対数は「lg x」と表記されることがよくある。同じ関数の別の表記としてときどき（特にドイツ語で）使われるものとして「ld x」があり、これはラテン語の Logarithmus Duālis から来ている。ただし、ISO 80000-2では「lg x」は log10 x すなわち常用対数を示すとされており、二進対数の略記法は「lb x」である。本稿でもこれに従う。 正整数 n の二進法における桁数（すなわちビット数）は 1 + lb n の整数部分であり、以下の床関数で表される。 ⌊ lb n ⌋ + 1 {\displaystyle \lfloor \operatorname {lb} \,n\rfloor +1\ }
※この「情報理論」の解説は、「二進対数」の解説の一部です。
「情報理論」を含む「二進対数」の記事については、「二進対数」の概要を参照ください。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/13 05:40 UTC 版)
情報理論では、情報源アルファベットや符号アルファベットの元をシンボルという。
※この「情報理論」の解説は、「シンボル」の解説の一部です。
「情報理論」を含む「シンボル」の記事については、「シンボル」の概要を参照ください。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/05/25 08:44 UTC 版)
詳細は「情報理論」を参照 20世紀には、情報理論の起こりとともに有限アーベル群は特に重要となった。暗号理論と誤り訂正符号の両方に用いられる。 暗号理論において、多くのアルゴリズムの基礎として巡回群が用いられる。合同算術により、例えばフェルマーの判定法（フランス語版）やミラー–ラビンの判定法のような素数判定が可能となる。有限アーベル群の利用はそれだけにとどまらない。一つの本質的な構造として有限ベクトル空間（フランス語版）すなわち有限体上の有限次元ベクトル空間（フランス語版）は、有限アーベル群に対応するものであり、これによりある種の調和解析（フランス語版）が定義できるようになる。係数体が二元からなるとき、その上のベクトル空間で定義される複素数値函数はブール函数であり、フーリエ変換はウォルシュ変換（フランス語版）になる。暗号理論は、例えば置換テーブルの研究などに対して、ブール函数およびウォルシュ変換を広汎に用いさせる。 誤り訂正符号の理論、特に線型符号もまた例外ではない。これには例えばマクウィリアムの恒等式（フランス語版）を通じた双対符号の解析に関し、任意の有限ベクトル空間上の調和解析が用いられる。コンパクトディスクに用いられるリード・ソロモン型の符号は、（有限アーベル群の乗法に基づく構造である）256元体上のベクトル空間を利用する。
※この「情報理論」の解説は、「有限アーベル群」の解説の一部です。
「情報理論」を含む「有限アーベル群」の記事については、「有限アーベル群」の概要を参照ください。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/05/20 08:15 UTC 版)
「ラグランジュの未定乗数法」の記事における「情報理論」の解説
情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、 f ( p 1 , p 2 , … , p n ) = − ∑ k = 1 n p k log 2 p k {\displaystyle f(p_{1},p_{2},\dots ,p_{n})=-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}} となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は g ( p 1 , p 2 , … , p n ) = ∑ k = 1 n p k − 1 {\displaystyle g(p_{1},p_{2},\dots ,p_{n})=\sum _{k=1}^{n}p_{k}-1} となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての i （1から n をとる）に対して次の条件が必要である： ∂ ∂ p i ( f + λ g ) = 0. {\displaystyle {\frac {\partial }{\partial p_{i}}}(f+\lambda g)=0.} 従って ∂ ∂ p i ( − ∑ k = 1 n p k log 2 p k + λ ( ∑ k = 1 n p k − 1 ) ) = 0. {\displaystyle {\frac {\partial }{\partial p_{i}}}\left(-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}+\lambda (\sum _{k=1}^{n}p_{k}-1)\right)=0.} これら n 個の方程式から次の式が得られる： − ( 1 ln 2 + log 2 p i ) + λ = 0. {\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{i}\right)+\lambda =0.} これは、すべての pi が等しいということを示している（変数は λ だけだから）。 束縛条件 ∑k pk = 1 を使って、 p i = 1 n {\displaystyle p_{i}={\frac {1}{n}}} がわかる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。
※この「情報理論」の解説は、「ラグランジュの未定乗数法」の解説の一部です。
「情報理論」を含む「ラグランジュの未定乗数法」の記事については、「ラグランジュの未定乗数法」の概要を参照ください。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/12/12 05:22 UTC 版)
詳細は「情報理論」を参照 情報理論においては、情報源とはビット列（もしくはより一般になんらかのシンボルの有限列）が、選ばれるもととなる空間の事[要出典]。より厳密に言えば、シンボルの有限列全体の空間とその上の確率分布の組のこと。シンボルの有限列はその確率分布に従って選ばれる[要出典]。 代表的な情報源として次のものがある： 無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率 P ( s 1 ) , . . . , P ( s n ) {\displaystyle P(s_{1}),...,P(s_{n})} が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、 log 2 n {\displaystyle \log _{2}n} シャノンであり、それは各シンボルの生起確率が等しいとき（ 1 n {\displaystyle {\frac {1}{n}}} ずつのとき）である[要出典]。 m {\displaystyle m} 重マルコフ情報源とは、各シンボルの生起確率がその直前に生じた m {\displaystyle m} 個のシンボルに依存する、 m {\displaystyle m} 重マルコフ過程とみなせる情報源のことである。特に、 m = 1 {\displaystyle m=1} のとき、単純マルコフ情報源という[要出典]。 エルゴード情報源とは、エルゴード性を満たす情報源のことである。
※この「情報理論」の解説は、「情報源」の解説の一部です。
「情報理論」を含む「情報源」の記事については、「情報源」の概要を参照ください。
情報理論
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/11 02:15 UTC 版)
詳細は「情報理論」を参照 （価値判断を除いた）情報の量的側面（情報量）については、コルモゴロフらによる確率論の確立といった背景もあるわけであるが、1948年にシャノンによって形式化され、こんにちでは「情報理論」と呼ばれている。たとえば、天気に「晴れ」「曇り」「雨」「雪」の4つの選択肢があり、いずれの確率も同じ場合は、「晴れ」であることがわかれば、 log 2 4 {\displaystyle \log _{2}4\,} = 2ビットの情報が得られたことになる、と考えるわけである。 このように捉えた「情報」からは、価値的な側面が捨てられてしまっており、すでに「情報」という言葉の日常的な用法とは合致しないが、それとは別のひとつの用法を示している。 しかし、そもそも情報の「価値」とはなんなのか、という議論を追加する必要がある。前述の4種類の天候が、それが天気予報としての情報ならば、情報理論では全体における確率が高いものほど情報量が少なく、確率が低いものほど情報量が多いとして扱う。例えばそれが、沖縄県や静岡県の平野部の天気についてであった場合は、「雪」である可能性は極めて低いため、「雪」の場合の情報量は多い、ということになる。これは日常的な感覚にも合致しているし、可逆データ圧縮の原理として日常的に応用されてもいる。
※この「情報理論」の解説は、「情報」の解説の一部です。
「情報理論」を含む「情報」の記事については、「情報」の概要を参照ください。
情報理論
「情報理論」の例文・使い方・用例・文例
固有名詞の分類
- 情報・理論のページへのリンク
