情報理論とは? わかりやすく解説

じょうほう‐りろん〔ジヤウホウ‐〕【情報理論】


情報理論

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/08/26 01:48 UTC 版)

情報理論(じょうほうりろん、: Information theory)は、情報通信数学的に論じる学問である。応用数学の中でもデータ定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。

情報理論の基本的な応用としては、ZIP形式可逆圧縮)、MP3非可逆圧縮)、DSL伝送路符号化)などがある。この分野は、数学統計学計算機科学物理学神経科学電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。

概要

情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。言語に関する重要な2つの観点がある。第1に、最もよく使われる単語(例えば、「日」、「私」、「それ」)はそれほど使われない単語(例えば、「唯々諾々」、「開口一番」、「対馬海流」)よりも短く、結果として文はそれほど長くならない。このような単語長のトレードオフデータ圧縮に通じるものがあり、情報源符号化の基盤となっている。第2に、自動車が通りかかったなどのノイズのために文の最初の方を聞き逃しても、聞いていた人はメッセージの言わんとするところを理解できる(場合もある)。そのような言語の堅牢性は電気通信システムの基本であり、通信におけるその種の堅牢性を構築するのが通信路符号化である。情報源符号化と通信路符号化は情報理論の基礎となる概念である。

情報源符号化と通信路符号化では、メッセージの内容の重要性を全く考慮していない。例えば、「またおいでください」という決まり文句と、緊急時の叫び「救急車を呼んでくれ!!」は長さは似たようなものだが、その内容の重要性はかなり異なる。情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。

情報理論は、1948年クロード・シャノンが Bell System Technical Journal に投稿した論文 "A Mathematical Theory of Communication"(通信の数学的理論)を始まりとする。古典的情報理論の中心パラダイムは、ノイズの多い通信路上で情報を転送する際の技術的問題であった。最も基本的な成果はシャノンの情報源符号化定理であり、ある事象を表現するために必要となる平均「ビット」数はその情報エントロピーであるとされた。また、シャノンの通信路符号化定理では、ノイズの多い通信路で信頼できる通信を行えることが示され、その際の転送レートの上限を通信路容量と称した。実際の通信速度を通信路容量に近づけるには、適切な符号化が必要となる。

情報理論は、過去半世紀の間に工学の手法として定着するまでになった様々な分野と密接に関連している。それは、人工知能複雑系サイバネティックス情報学機械学習システム工学などである。情報理論は数学理論としても深遠であり、その応用も幅広い。その中でも特に符号理論は広く応用されている。

符号理論は、具体的な「符号」の方式を確立する分野であり、効率を上げ、エラー発生率をシャノンが定式化した通信路容量のレベルに近づけることを研究する分野である。符号は、データ圧縮(情報源符号化)と誤り検出訂正(通信路符号化)が主要な技法である。後者については、シャノンの研究のとおりの方式が可能であると証明するまで長い年月を要した。情報理論の符号に関する第3の技法は暗号化アルゴリズムである。符号理論や情報理論の成果は暗号理論暗号解読に広く応用されている。

情報理論は、情報検索諜報活動賭博統計学、さらには作曲にまで使われている。

歴史的背景

1948年6月と10月、クロード・シャノンBell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。

この論文以前、ベル研究所で考えられていた情報の理論は限定的であり、あらゆる事象が同じ確率で発生することを暗黙の前提としていた。1924年ハリー・ナイキストの論文 Certain Factors Affecting Telegraph Speed(テレグラフの速度を制限する要因)では、通信システムにおける「情報; intelligence」と「回線速度」の定量化に関する理論が述べられている。それによると、情報の転送速度 W

ベルヌーイ試行のエントロピーを成功確率の関数
通信路の概念図

イーサネットなどの通信路上の通信が情報理論構築の主な動機である。電話を使ったことのある人なら誰でも経験することだが、そのような通信路では正確な信号の再現に失敗することもよくあり、ノイズや一時的な信号の途絶などにより信号が識別不能となることがある。そのようなノイズの多い通信路でどれだけの情報を伝えることが期待できるだろうか?

離散的な通信路による通信を考える。X を転送されるメッセージの集合とし、Y をある一定時間内にその通信路経由で受信したメッセージの集合とする。ここで、

2元対称通信路
2元消失通信路
  • 連続的なアナログ通信路のノイズは主にガウス雑音である。シャノン・ハートレイの定理
  • 2元対称通信路 (Binary Symmetric Channel, BSC)でバイナリ値の取り違えが発生する確率を p とする。BSCの通信路容量は
トピックス応用学会団体競技研究所

情報理論

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2018/08/02 06:48 UTC 版)

二進対数」の記事における「情報理論」の解説

二進対数二進法と密接に関係しているため、計算機科学や情報理論でしばしば使われる。この文脈において、二進対数は「lg x」と表記されることがよくある。同じ関数別の表記としてときどき(特にドイツ語で)使われるものとして「ld x」があり、これはラテン語の Logarithmus Duālis から来ている。ただし、ISO 80000-2では「lg x」は log10 x すなわち常用対数を示すとされており、二進対数略記法は「lb x」である。本稿でもこれに従う。 正整数 n の二進法における桁数(すなわちビット数)は 1 + lb n整数部分であり、以下の床関数表される。 ⌊ lb n+ 1   {\displaystyle \lfloor \operatorname {lb} \,n\rfloor +1\ }

※この「情報理論」の解説は、「二進対数」の解説の一部です。
「情報理論」を含む「二進対数」の記事については、「二進対数」の概要を参照ください。

ウィキペディア小見出し辞書の「情報理論」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ

情報理論

出典:『Wiktionary』 (2021/08/22 12:04 UTC 版)

名詞

情報理論 (じょうほうりろん)

  1. (情報技術, 数学) 情報通信数学的に議論する学問

参照


「情報理論」の例文・使い方・用例・文例

Weblio日本語例文用例辞書はプログラムで機械的に例文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。



固有名詞の分類


英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

カテゴリ一覧

すべての辞書の索引



Weblioのサービス

「情報理論」の関連用語

1
情報エントロピー デジタル大辞泉
78% |||||








9
通信の数学的理論 デジタル大辞泉
50% |||||


情報理論のお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



情報理論のページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
デジタル大辞泉デジタル大辞泉
(C)Shogakukan Inc.
株式会社 小学館
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアの情報理論 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。
ウィキペディアウィキペディア
Text is available under GNU Free Documentation License (GFDL).
Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、Wikipediaの二進対数 (改訂履歴)、シンボル (改訂履歴)、有限アーベル群 (改訂履歴)、ラグランジュの未定乗数法 (改訂履歴)、情報源 (改訂履歴)、情報 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。
Text is available under Creative Commons Attribution-ShareAlike (CC-BY-SA) and/or GNU Free Documentation License (GFDL).
Weblioに掲載されている「Wiktionary日本語版(日本語カテゴリ)」の記事は、Wiktionaryの情報理論 (改訂履歴)の記事を複製、再配布したものにあたり、Creative Commons Attribution-ShareAlike (CC-BY-SA)もしくはGNU Free Documentation Licenseというライセンスの下で提供されています。
Tanaka Corpusのコンテンツは、特に明示されている場合を除いて、次のライセンスに従います:
 Creative Commons Attribution (CC-BY) 2.0 France.
この対訳データはCreative Commons Attribution 3.0 Unportedでライセンスされています。
浜島書店 Catch a Wave
Copyright © 1995-2025 Hamajima Shoten, Publishers. All rights reserved.
株式会社ベネッセコーポレーション株式会社ベネッセコーポレーション
Copyright © Benesse Holdings, Inc. All rights reserved.
研究社研究社
Copyright (c) 1995-2025 Kenkyusha Co., Ltd. All rights reserved.
日本語WordNet日本語WordNet
日本語ワードネット1.1版 (C) 情報通信研究機構, 2009-2010 License All rights reserved.
WordNet 3.0 Copyright 2006 by Princeton University. All rights reserved. License
日外アソシエーツ株式会社日外アソシエーツ株式会社
Copyright (C) 1994- Nichigai Associates, Inc., All rights reserved.
「斎藤和英大辞典」斎藤秀三郎著、日外アソシエーツ辞書編集部編
EDRDGEDRDG
This page uses the JMdict dictionary files. These files are the property of the Electronic Dictionary Research and Development Group, and are used in conformance with the Group's licence.

©2025 GRAS Group, Inc.RSS