ギブスの不等式

ウィキペディア

ギブスの不等式

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/08/30 07:42 UTC 版)

ギブスの不等式（ぎぶすのふとうしき、英: Gibbs' inequality）とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。

この不等式は19世紀にウィラード・ギブスが最初に提示した。

定義

ある確率分布 P を次のように表す。

$P=\{p_{1},\ldots ,p_{n}\}$

別の確率分布 Q を次のように表す。

$Q=\{q_{1},\ldots ,q_{n}\}$

このとき、次の不等式が成り立つ。

$-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}$

ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。

$p_{i}=q_{i}\,$

2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

$D_{\mathrm {KL} }(P\|Q)\geq 0$

証明

対数の性質から、次が成り立つ。

$\log _{2}a={\frac {\ln a}{\ln 2}}$

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

$\ln x\leq x-1$

これは、全ての x について成り立つ（x=1 のときだけ等号）。

p_i がゼロでない全ての $i$ の集合を $I$ とする。すると、

${\begin{aligned}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&{}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&{}=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&{}=-\sum _{i\in I}q_{i}+1\\&{}\geq 0\end{aligned}}$

となるので、次が成り立つ。

$-\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}$

両辺に 0 を加えても大小関係は変わらないから、0 であるような p_i も含めることができて、

$-\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}$

等式として成り立つには、次の条件が成立しなければならない。

1. 全ての $i\in I$ について ${\frac {q_{i}}{p_{i}}}=1$ であれば、$\ln {\frac {q_{i}}{p_{i}}}=1-{\frac {q_{i}}{p_{i}}}$ が成り立つ。
2. $\sum _{i\in I}q_{i}=1$ であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。

$p_{i}=q_{i}$

他の証明手法

イェンセンの不等式を使って証明することもできる。

系

$P$ のエントロピーは次の式で上限が与えられる。

$H(p_{1},\ldots ,p_{n})\leq \log n$

証明は簡単で、全ての i について $q_{i}=1/n$ とすればよい。

関連項目

• 情報量
• ファーノの不等式