ファノの不等式とは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > 百科事典 > ファノの不等式の意味・解説 

ファノの不等式

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/11/04 17:48 UTC 版)

情報理論において、ファノの不等式(ファノのふとうしき、英語: Fano's inequality)は、雑音の多い通信路で失われた情報の平均を分類誤りの確率と関連付ける不等式である。1950年代初めにロベルト・ファノによってMITでの情報理論のPh.Dセミナーで導かれ、その後の彼の1961年の教科書にも記載されている。ファノの逆定理(Fano converse)またはファノの補題(Fano lemma)とも呼ばれる。

これは、任意の復号器の誤り確率の下限と、密度推定英語版におけるミニマックスリスクの下限を見つけるために使用される。

確率変数 XY を、同時分布 による入力・出力メッセージとする。e を誤りの発生、すなわち、 を出力メッセージ Y から推定した入力メッセージ X としたとき、 となることであるとする。すると、ファノの不等式は以下のように表される。

ここで、X のsupportを表し、

条件付きエントロピー英語版

は通信誤りの確率、

対応する二値エントロピーである。

別の定式化

X を、 個の確率密度 の内の1つに等しい確率密度を持つ確率変数とする。さらに、密度の任意の対のカルバック・ライブラー情報量は大きすぎることはできない。

(全ての について)

をインデックスの推定とする。すると、ファノの不等式は以下のように表される。

ここで、 によって誘導される確率である。

一般化

以下の一般化は、Ibragimov and Khasminskii(1979)、Assouad and Birge(1983)によるものである。

F を、任意の θ ≠ θ′ に対して、 r + 1 個の密度 ƒθ のサブクラスを有する密度のクラスとする。

最悪の場合、推定誤りの期待値は下から拘束され、

となる。ここで、ƒn は、サイズ n標本に基づく任意の密度推定器英語版である。

脚注

  • P. Assouad, "Deux remarques sur l'estimation", Comptes Rendus de L'Academie des Sciences de Paris, Vol. 296, pp. 1021–1024, 1983.
  • L. Birge, "Estimating a density under order restrictions: nonasymptotic minimax risk", Technical report, UER de Sciences Économiques, Universite Paris X, Nanterre, France, 1983.
  • T. Cover, J. Thomas, Elements of Information Theory. pp. 43.
  • L. Devroye, A Course in Density Estimation. Progress in probability and statistics, Vol 14. Boston, Birkhauser, 1987. ISBN 0-8176-3365-0, ISBN 3-7643-3365-0.
  • R. Fano, Transmission of information; a statistical theory of communications. Cambridge, Massachusetts, M.I.T. Press, 1961. ISBN 0-262-06001-9
  • R. Fano, Fano inequality Scholarpedia, 2008.
  • I. A. Ibragimov, R. Z. Has′minskii, Statistical estimation, asymptotic theory. Applications of Mathematics, vol. 16, Springer-Verlag, New York, 1981. ISBN 0-387-90523-5



英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「ファノの不等式」の関連用語

ファノの不等式のお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



ファノの不等式のページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアのファノの不等式 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS