対数尤度の導出
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/07/08 10:10 UTC 版)
「フローベース生成モデル」の記事における「対数尤度の導出」の解説
変数 z 1 {\displaystyle z_{1}} 及び z 0 {\displaystyle z_{0}} について、 z 0 = f 1 − 1 ( z 1 ) {\displaystyle z_{0}=f_{1}^{-1}(z_{1})} であるとする。 確率密度の変数変換公式より、 z 1 {\displaystyle z_{1}} の従う確率分布は以下のように書ける： p 1 ( z 1 ) = p 0 ( z 0 ) | det d f 1 − 1 ( z 1 ) d z 1 | {\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|} ここで、 det d f 1 − 1 ( z 1 ) d z 1 {\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}} は f 1 − 1 {\displaystyle f_{1}^{-1}} のヤコビ行列の行列式である。 逆関数定理により p 1 ( z 1 ) = p 0 ( z 0 ) | det ( d f 1 ( z 0 ) d z 0 ) − 1 | {\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|} 恒等式 det ( A − 1 ) = det ( A ) − 1 {\displaystyle \det(A^{-1})=\det(A)^{-1}} により（ A {\displaystyle A} は正則行列）、次が導ける： p 1 ( z 1 ) = p 0 ( z 0 ) | det d f 1 ( z 0 ) d z 0 | − 1 {\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}} したがって、対数尤度は次のようになる。 log p 1 ( z 1 ) = log p 0 ( z 0 ) − log | det d f 1 ( z 0 ) d z 0 | {\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|} 一般に、上記の式は全ての z i {\displaystyle z_{i}} 及び z i − 1 {\displaystyle z_{i-1}} に適用される 。 log p i ( z i ) {\displaystyle \log p_{i}(z_{i})} は log p i − 1 ( z i − 1 ) {\displaystyle \log p_{i-1}(z_{i-1})} から非再帰的な項を引いたものに等しいので、数学的帰納法より以下が示せる。 log p K ( z K ) = log p 0 ( z 0 ) − ∑ i = 1 K log | det d f i ( z i − 1 ) d z i − 1 | {\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}
※この「対数尤度の導出」の解説は、「フローベース生成モデル」の解説の一部です。
「対数尤度の導出」を含む「フローベース生成モデル」の記事については、「フローベース生成モデル」の概要を参照ください。
- 対数尤度の導出のページへのリンク
