忘却ゲートを持つLSTM
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/08 07:20 UTC 版)
「長・短期記憶」の記事における「忘却ゲートを持つLSTM」の解説
忘却ゲートを持つLSTMユニットの順方向通路のための方程式のコンパクト形は以下の通りである。 f t = σ g ( W f x t + U f h t − 1 + b f ) i t = σ g ( W i x t + U i h t − 1 + b i ) o t = σ g ( W o x t + U o h t − 1 + b o ) c t = f t ∘ c t − 1 + i t ∘ σ c ( W c x t + U c h t − 1 + b c ) h t = o t ∘ σ h ( c t ) {\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}} 上式において、初期値は c 0 = 0 {\displaystyle c_{0}=0} および h 0 = 0 {\displaystyle h_{0}=0} 、を示す。添字 t {\displaystyle t} は時間ステップにインデックスを付ける。
※この「忘却ゲートを持つLSTM」の解説は、「長・短期記憶」の解説の一部です。
「忘却ゲートを持つLSTM」を含む「長・短期記憶」の記事については、「長・短期記憶」の概要を参照ください。
- 忘却ゲートを持つLSTMのページへのリンク
