尤度の下限
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/07/12 04:46 UTC 版)
「変分メッセージパッシング」の記事における「尤度の下限」の解説
隠れ変数 H {\displaystyle H} と観測データ V {\displaystyle V} の集合が与えられた場合、 V {\displaystyle V} のデータのみで構成されたグラフィカルモデルの対数尤度の下限を近似的に求める問題について考える。(後に定義する)確率分布 Q {\displaystyle Q} を導入すると、 V {\displaystyle V} の対数尤度は ln P ( V ) = ∑ H Q ( H ) ln P ( H , V ) P ( H | V ) = ∑ H Q ( H ) [ ln P ( H , V ) Q ( H ) − ln P ( H | V ) Q ( H ) ] {\displaystyle \ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}} となる。よって、下限 L {\displaystyle L} は以下のように定めることができる: L ( Q ) = ∑ H Q ( H ) ln P ( H , V ) Q ( H ) {\displaystyle L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}} ゆえに、対象の対数尤度は上式の L {\displaystyle L} と、 P Q {\displaystyle PQ} 間の相対エントロピーの和によって表現できる。相対エントロピーは非負であるため、上で定義した関数 L {\displaystyle L} は観測データの対数尤度の下限を表す。ここで、 P {\displaystyle P} の周辺分布を厳密に計算しようとした場合に計算量が爆発してしまうような問題について考える。この場合、 P {\displaystyle P} の周辺分布を直接求めるのではなく、まず分布 Q {\displaystyle Q} に対して周辺分布を計算しやすくなるような単純な性質を仮定する。次に下限である L {\displaystyle L} を最大化するような分布 Q {\displaystyle Q} を求める。最後に分布 Q {\displaystyle Q} から、周辺分布を近似的に求める。特に、VMPでは Q {\displaystyle Q} に以下の独立の仮定を用いる: Q ( H ) = ∏ i Q i ( H i ) {\displaystyle Q(H)=\prod _{i}Q_{i}(H_{i})} ここで、 H i {\displaystyle H_{i}} はグラフィカルモデルの一部を表す。
※この「尤度の下限」の解説は、「変分メッセージパッシング」の解説の一部です。
「尤度の下限」を含む「変分メッセージパッシング」の記事については、「変分メッセージパッシング」の概要を参照ください。
- 尤度の下限のページへのリンク
