完全ゲート付きユニット
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/01/16 12:35 UTC 版)
「ゲート付き回帰型ユニット」の記事における「完全ゲート付きユニット」の解説
最初、 t = 0 {\displaystyle t=0} に対して、出力ベクトルは h 0 = 0 {\displaystyle h_{0}=0} である。 z t = σ g ( W z x t + U z h t − 1 + b z ) r t = σ g ( W r x t + U r h t − 1 + b r ) h t = ( 1 − z t ) ∘ h t − 1 + z t ∘ σ h ( W h x t + U h ( r t ∘ h t − 1 ) + b h ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=(1-z_{t})\circ h_{t-1}+z_{t}\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}} 変数 x t {\displaystyle x_{t}} : 入力ベクトル h t {\displaystyle h_{t}} : 出力ベクトル z t {\displaystyle z_{t}} : 更新ゲートベクトル r t {\displaystyle r_{t}} : 初期化ゲートベクトル W {\displaystyle W} 、 U {\displaystyle U} 、および b {\displaystyle b} : パラメータ行列およびベクトル 活性化関数 σ g {\displaystyle \sigma _{g}} : オリジナルはシグモイド関数。 σ h {\displaystyle \sigma _{h}} : オリジナルは双曲線正接関数. σ g ( x ) ∈ [ 0 , 1 ] {\displaystyle \sigma _{g}(x)\in [0,1]} という条件で、別の活性化関数も利用可能である。 z t {\displaystyle z_{t}} および r t {\displaystyle r_{t}} を変更することによって代替形式を作ることができる。 タイプ1、それぞれのゲートが以前の隠れ状態およびバイアスにのみ依存する。 z t = σ g ( U z h t − 1 + b z ) r t = σ g ( U r h t − 1 + b r ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}} タイプ2、それぞれのゲートが以前の隠れ状態にのみ依存する。 z t = σ g ( U z h t − 1 ) r t = σ g ( U r h t − 1 ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}} タイプ3、それぞれのゲートはバイアスのみを使って計算される。 z t = σ g ( b z ) r t = σ g ( b r ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}
※この「完全ゲート付きユニット」の解説は、「ゲート付き回帰型ユニット」の解説の一部です。
「完全ゲート付きユニット」を含む「ゲート付き回帰型ユニット」の記事については、「ゲート付き回帰型ユニット」の概要を参照ください。
- 完全ゲート付きユニットのページへのリンク
