二値エントロピー関数とは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > 百科事典 > 二値エントロピー関数の意味・解説 

二値エントロピー関数

(2値エントロピー関数 から転送)

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2017/07/25 00:38 UTC 版)

情報理論において、二値エントロピー関数(にちエントロピーかんすう、binary entropy function)は もしくは のように表記され、確率 の1値または2値ベルヌーイ過程情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数

のとき であり、 のエントロピーは(シャノン単位で)次のように与えられる。

,

ここで、 は 0 とする。この式中の対数は通常、底を2とする。二進対数も参照されたい。

のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。

は単一の実数を引数としてとり、確率分布や確率変数を引数とするエントロピー関数 とは区別される。二値エントロピー関数を と表記する場合もある。しかし、 レニーエントロピー英語版 と表記することがあるため、混同に注意が必要である。

説明

情報理論における用語では、「エントロピー」とはメッセージ中の不確定性の尺度と考えられる。直感的に理解するため、 の場合を考える。この確率では、ある事象は決して起こらないことが確定しており、不確定性はまったくないのでエントロピーは0となる。 の場合も、結果はやはり確定的でありエントロピーは0となる。 のとき不確定性は最大となり、公平な賭けをする場合は確率に関する知識があろうと全く有利にはならないのである。この場合、エントロピーは最大値 1 ビットをとる。中間的な値はこれらの極端な場合の間になる。たとえば の場合、結果に若干の不確定性があるものの、予言を外すよりは多く当てることができるので不確定性の尺度、すなわちエントロピーは完全な 1 ビットよりは小さくなる。

導関数

二値エントロピー関数の導関数ロジット関数の符号を反転させたもので表現される。

.

テイラー展開

二値エントロピー関数の1/2まわりでのテイラー展開は次のように与えられる。

これは で成り立つ。

関連項目

出典




英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「二値エントロピー関数」の関連用語

二値エントロピー関数のお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



二値エントロピー関数のページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアの二値エントロピー関数 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS