結合エントロピー (けつごうエントロピー、英 : joint entropy )とは、情報理論 における情報量 の一種。結合エントロピーは、2つの確率変数 の結合した系でのエントロピー を表す。確率変数
X
{\displaystyle X}
と
Y
{\displaystyle Y}
があるとき、結合エントロピーは
H
(
X
,
Y
)
{\displaystyle H(X,Y)}
と記される。他のエントロピーと同様、単位 は対数 の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。
背景
確率変数
X
{\displaystyle X}
があるとき、そのエントロピー
H
(
X
)
{\displaystyle H(X)}
は
X
{\displaystyle X}
の値の不確かさを表す。
X
{\displaystyle X}
について、イベント
x
{\displaystyle x}
が発生する確率が
p
x
{\displaystyle p_{x}}
であるとき、
X
{\displaystyle X}
のエントロピーは次のようになる。
H
(
X
)
=
−
∑
x
p
x
log
2
(
p
x
)
{\displaystyle H(X)=-\sum _{x}p_{x}\log _{2}(p_{x})\!}
もう1つの確率変数
Y
{\displaystyle Y}
では、イベント
y
{\displaystyle y}
が発生する確率が
p
y
{\displaystyle p_{y}}
であるとする。
Y
{\displaystyle Y}
のエントロピーは
H
(
Y
)
{\displaystyle H(Y)}
で表される。
ここで、
X
{\displaystyle X}
と
Y
{\displaystyle Y}
が相互に関連したイベントを表しているとき、系全体のエントロピーは
H
(
X
)
+
H
(
Y
)
{\displaystyle H(X)+H(Y)}
にはならない。例えば、1から8までの整数 を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。
X
{\displaystyle X}
は選んだ整数が奇数 かどうかを表し、
Y
{\displaystyle Y}
は選んだ整数が素数 かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって
H
(
X
)
=
H
(
Y
)
=
1
{\displaystyle H(X)=H(Y)=1}
となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。
定義
ここで、考えられる結果の「対」
(
x
,
y
)
{\displaystyle (x,y)}
を全て考慮する。
それぞれの対の発生確率を
p
x
,
y
{\displaystyle p_{x,y}\quad }
としたとき、結合エントロピーは次のようになる。
H
(
X
,
Y
)
=
−
∑
x
,
y
p
x
,
y
log
2
(
p
x
,
y
)
{\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}
上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。
P
(
even
,
prime
)
=
P
(
odd
,
not prime
)
=
1
/
8
{\displaystyle P({\text{even}},{\text{prime}})=P({\text{odd}},{\text{not prime}})=1/8}
P
(
even
,
not prime
)
=
P
(
odd
,
prime
)
=
3
/
8
{\displaystyle P({\text{even}},{\text{not prime}})=P({\text{odd}},{\text{prime}})=3/8}
以上から、結合エントロピーは次のようになる。
−
2
1
8
log
2
(
1
/
8
)
−
2
3
8
log
2
(
3
/
8
)
≈
1.8
bits
{\displaystyle -2{\frac {1}{8}}\log _{2}(1/8)-2{\frac {3}{8}}\log _{2}(3/8)\approx 1.8~{\text{bits}}}
特性
部分エントロピーよりも大きい
結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。
H
(
X
,
Y
)
≥
H
(
X
)
{\displaystyle H(X,Y)\geq H(X)}
この不等式が等式になるのは、
Y
{\displaystyle Y}
が
X
{\displaystyle X}
の(決定的)関数 になっている場合だけである。
Y
{\displaystyle Y}
が
X
{\displaystyle X}
の(決定的)関数 であるとき、以下も成り立つ。
H
(
X
)
≥
H
(
Y
)
{\displaystyle H(X)\geq H(Y)}
劣加法性
2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。
H
(
X
,
Y
)
≤
H
(
X
)
+
H
(
Y
)
{\displaystyle H(X,Y)\leq H(X)+H(Y)}
この不等式が等式になるのは、
X
{\displaystyle X}
と
Y
{\displaystyle Y}
に確率論的独立性 がある場合だけである。
限界
他のエントロピーと同様、常に
H
(
X
,
Y
)
≥
0
{\displaystyle H(X,Y)\geq 0}
が成り立つ。
他のエントロピー尺度との関係
結合エントロピーは、次のように条件付きエントロピー の定義に使われる。
H
(
X
|
Y
)
=
H
(
X
,
Y
)
−
H
(
Y
)
{\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}
また、次のように相互情報量 の定義にも使われる。
I
(
X
;
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
{\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}
参考文献
Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review . New York: Dover Publications. pp. 613-614. ISBN 0-486-41147-8 .