SGVB推定量の具体的な形
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/10/14 10:06 UTC 版)
「変分オートエンコーダー」の記事における「SGVB推定量の具体的な形」の解説
本節では変分オートエンコーダーのケースにおいてSGVB推定量 L ~ ( θ , ϕ , x , ( ε ( ℓ ) ) ℓ = 1 , … , L ) ) = 1 L ∑ ℓ = 1 L log p θ ( x | g ϕ ( x , ε ( ℓ ) ) ) − K L ( q ϕ ( z | x ) ‖ p ( z ) ) {\displaystyle {\tilde {\mathcal {L}}}(\theta ,\phi ,\mathbf {x} ,({\boldsymbol {\varepsilon }}^{(\ell )})_{\ell =1,\ldots ,L}))={1 \over L}\sum _{\ell =1}^{L}\log p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))-\mathrm {KL} (q_{\phi }(\mathbf {z} |\mathbf {x} )\|p(\mathbf {z} ))} ...(L1、再掲) の具体的な形を求める。 (P2)、(E1)、(D2)より、 ( μ E , σ E 2 ) = E ϕ ( x ) {\displaystyle ({\boldsymbol {\mu }}_{E},{\boldsymbol {\sigma }}_{E}^{2})=E_{\phi }(\mathbf {x} )} 、 ( μ D ( ℓ ) , ( σ D ( ℓ ) ) 2 ) = D θ ( μ E + σ E 2 ⊙ ε ( ℓ ) ) {\displaystyle ({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2})=D_{\theta }({\boldsymbol {\mu }}_{E}+{\boldsymbol {\sigma }}_{E}^{2}\odot {\boldsymbol {\varepsilon }}^{(\ell )})} とすると、 p θ ( x | g ϕ ( x , ε ( ℓ ) ) ) {\displaystyle p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))} が正規分布 N ( μ D ( ℓ ) , ( σ D ( ℓ ) ) 2 I ) {\displaystyle {\mathcal {N}}({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2}I)} の確率密度関数であることから、 log p θ ( x | g ϕ ( x , ε ( ℓ ) ) ) = − K 2 log 2 π − 1 2 ∑ k = 1 K ( ( x k − μ D , k ( ℓ ) ) 2 ( σ D , k ( ℓ ) ) 2 − log σ D , k ( ℓ ) ) {\displaystyle \log p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))=-{\frac {K}{2}}\log 2\pi -{\frac {1}{2}}\sum _{k=1}^{K}\left({(x_{k}-\mu _{D,k}^{(\ell )})^{2} \over (\sigma _{D,k}^{(\ell )})^{2}}-\log \sigma _{D,k}^{(\ell )}\right)} である。ここでKはxのデータ長であり、xk、μ(l)D,k、σ(l)D,kはそれぞれx、μ(l)D、σ(l)Dの第k成分である。 一方、(L1)の第2項を具体的に計算すると以下のようになる#原論文:Appendix D： K L ( q ϕ ( x | z ) ‖ p ( z ) ) = 1 2 ∑ j = 1 J ( 1 − μ E , j 2 − σ E , j 2 + log σ E , j 2 ) {\displaystyle \mathrm {KL} (q_{\phi }(\mathbf {x} |\mathbf {z} )\|p(\mathbf {z} ))={1 \over 2}\sum _{j=1}^{J}\left(1-\mu _{E,j}{}^{2}-\sigma _{E,j}{}^{2}+\log \sigma _{E,j}{}^{2}\right)} ここでJはzのデータ長であり、μE,j、σE,jはそれぞれμE、σEの第j成分である。 まとめると、 L ~ ( θ , ϕ , x , ( ε ( ℓ ) ) ℓ = 1 , … , L ) ) = − K 2 log 2 π − 1 L ∑ ℓ = 1 L ∑ k = 1 K ( ( x k − μ D , k ( ℓ ) ) 2 ( σ D , k ( ℓ ) ) 2 − log σ D , k ( ℓ ) ) − 1 2 ∑ j = 1 J ( 1 − μ E , j 2 − σ E , j 2 + log σ E , j 2 ) {\displaystyle {\tilde {\mathcal {L}}}(\theta ,\phi ,\mathbf {x} ,({\boldsymbol {\varepsilon }}^{(\ell )})_{\ell =1,\ldots ,L}))=-{\frac {K}{2}}\log 2\pi -{1 \over L}\sum _{\ell =1}^{L}\sum _{k=1}^{K}\left({(x_{k}-\mu _{D,k}^{(\ell )})^{2} \over (\sigma _{D,k}^{(\ell )})^{2}}-\log \sigma _{D,k}^{(\ell )}\right)-{1 \over 2}\sum _{j=1}^{J}\left(1-\mu _{E,j}{}^{2}-\sigma _{E,j}{}^{2}+\log \sigma _{E,j}{}^{2}\right)} ...(L2) ここで、 ( μ E , σ E 2 ) = ( ( μ E , j ) j = 1 , … , J , ( ( σ E , j ) j = 1 , … , J ) = E ϕ ( x ) {\displaystyle ({\boldsymbol {\mu }}_{E},{\boldsymbol {\sigma }}_{E}^{2})=((\mu _{E,j})_{j=1,\ldots ,J},((\sigma _{E,j})_{j=1,\ldots ,J})=E_{\phi }(\mathbf {x} )} ( μ D ( ℓ ) , ( σ D ( ℓ ) ) 2 ) = ( ( μ D , j ( ℓ ) ) j = 1 , … , K , ( ( σ D , j ( ℓ ) ) j = 1 , … , K ) = D θ ( μ E + σ E 2 ⊙ ε ( ℓ ) ) {\displaystyle ({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2})=((\mu _{D,j}^{(\ell )})_{j=1,\ldots ,K},((\sigma _{D,j}^{(\ell )})_{j=1,\ldots ,K})=D_{\theta }({\boldsymbol {\mu }}_{E}+{\boldsymbol {\sigma }}_{E}^{2}\odot {\boldsymbol {\varepsilon }}^{(\ell )})}
※この「SGVB推定量の具体的な形」の解説は、「変分オートエンコーダー」の解説の一部です。
「SGVB推定量の具体的な形」を含む「変分オートエンコーダー」の記事については、「変分オートエンコーダー」の概要を参照ください。
- SGVB推定量の具体的な形のページへのリンク
