情報理論
 | この記事には参考文献や外部リンクの一覧が含まれていますが、脚注によって参照されておらず、情報源が不明瞭です。 |
| 情報理論 |
|---|
 |
| 情報量 |
| 通信路 |
| 単位 |
| その他 |
|
 カテゴリ |
情報理論（じょうほうりろん、英: Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。
情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。
概要
情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。言語に関する重要な2つの観点がある。第1に、最もよく使われる単語（例えば、「日」、「私」、「それ」）はそれほど使われない単語（例えば、「唯々諾々」、「開口一番」、「対馬海流」）よりも短く、結果として文はそれほど長くならない。このような単語長のトレードオフはデータ圧縮に通じるものがあり、情報源符号化の基盤となっている。第2に、自動車が通りかかったなどのノイズのために文の最初の方を聞き逃しても、聞いていた人はメッセージの言わんとするところを理解できる（場合もある）。そのような言語の堅牢性は電気通信システムの基本であり、通信におけるその種の堅牢性を構築するのが通信路符号化である。情報源符号化と通信路符号化は情報理論の基礎となる概念である。
情報源符号化と通信路符号化では、メッセージの内容の重要性を全く考慮していない。例えば、「またおいでください」という決まり文句と、緊急時の叫び「救急車を呼んでくれ!!」は長さは似たようなものだが、その内容の重要性はかなり異なる。情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。
情報理論は、1948年、クロード・シャノンが Bell System Technical Journal に投稿した論文 "A Mathematical Theory of Communication"（通信の数学的理論）を始まりとする。古典的情報理論の中心パラダイムは、ノイズの多い通信路上で情報を転送する際の技術的問題であった。最も基本的な成果はシャノンの情報源符号化定理であり、ある事象を表現するために必要となる平均「ビット」数はその情報エントロピーであるとされた。また、シャノンの通信路符号化定理では、ノイズの多い通信路で信頼できる通信を行えることが示され、その際の転送レートの上限を通信路容量と称した。実際の通信速度を通信路容量に近づけるには、適切な符号化が必要となる。
情報理論は、過去半世紀の間に工学の手法として定着するまでになった様々な分野と密接に関連している。それは、人工知能、複雑系、サイバネティックス、情報学、機械学習、システム工学などである。情報理論は数学理論としても深遠であり、その応用も幅広い。その中でも特に符号理論は広く応用されている。
符号理論は、具体的な「符号」の方式を確立する分野であり、効率を上げ、エラー発生率をシャノンが定式化した通信路容量のレベルに近づけることを研究する分野である。符号は、データ圧縮（情報源符号化）と誤り検出訂正（通信路符号化）が主要な技法である。後者については、シャノンの研究のとおりの方式が可能であると証明するまで長い年月を要した。情報理論の符号に関する第3の技法は暗号化アルゴリズムである。符号理論や情報理論の成果は暗号理論や暗号解読に広く応用されている。
情報理論は、情報検索、諜報活動、賭博、統計学、さらには作曲にまで使われている。
歴史的背景
1948年6月と10月、クロード・シャノンは Bell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。
この論文以前、ベル研究所で考えられていた情報の理論は限定的であり、あらゆる事象が同じ確率で発生することを暗黙の前提としていた。1924年、ハリー・ナイキストの論文 Certain Factors Affecting Telegraph Speed（テレグラフの速度を制限する要因）では、通信システムにおける「情報; intelligence」と「回線速度」の定量化に関する理論が述べられている。それによると、情報の転送速度 W は イーサネットなどの通信路上の通信が情報理論構築の主な動機である。電話を使ったことのある人なら誰でも経験することだが、そのような通信路では正確な信号の再現に失敗することもよくあり、ノイズや一時的な信号の途絶などにより信号が識別不能となることがある。そのようなノイズの多い通信路でどれだけの情報を伝えることが期待できるだろうか？
離散的な通信路による通信を考える。X を転送されるメッセージの集合とし、Y をある一定時間内にその通信路経由で受信したメッセージの集合とする。ここで、
| ハードウェア | |
|---|---|
| コンピュータシステムの構造 | |
| ネットワーク |
|
| ソフトウェアの構造 | |
| ソフトウェア記法 とツール | |
| ソフトウェア開発 |
|
| 計算理論 | |
| アルゴリズム | |
| コンピューティングの数学 | |
| 情報システム |
|
| セキュリティ |
|
| ヒューマンコンピュータ インタラクション |
|
| 並行性 | |
| 人工知能 |
|
| 機械学習 | |
| グラフィックス | |
| 応用コンピューティング | |
