情報量
(シャノンのエントロピー から転送)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/04/19 03:23 UTC 版)
| 情報理論 |
|---|
 |
| 情報量 |
| 通信路 |
| 単位 |
| その他 |
|
 カテゴリ |
情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。
自己情報量（自己エントロピー）と平均情報量（エントロピー）
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を自己情報量（自己エントロピーとも）、後者を平均情報量（エントロピーとも）と呼ぶ。
自己情報量
事象 
図を見ると分かるように、
|
|
|||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 確率の歴史 | |||||||||||
| 確率の定義 |
|
||||||||||
| 基礎概念 |
|
||||||||||
| 確率の解釈 | |||||||||||
| 問題 | |||||||||||
| 法則・定理 | |||||||||||
| 測度論 | |||||||||||
| 確率微分方程式 | |||||||||||
| 確率過程 | |||||||||||
| 情報量 | |||||||||||
| 応用 |
|
||||||||||
| カテゴリ |
|||||||||||
- シャノンのエントロピーのページへのリンク
