三省堂 大辞林

じょうほう-りろん じやう― 5 【情報理論】

情報科学の基礎分野をなす諸理論のすべてをさし、信号理論・パターン認識理論・言語理論・人工知能論などを含む。狭義には、シャノンが通信理論として確立した、情報の伝達および処理についての数学的理論。通信路の伝送容量、雑音を排除するための符号化、情報発生速度などについて論じる。

ウィキペディア

情報理論

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2011/08/19 13:56 UTC 版)

情報理論（じょうほうりろん、英: Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。

情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。