覗き穴LSTM
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/08 07:20 UTC 版)
入力（ i {\displaystyle i} ）、出力（ o {\displaystyle o} ）、および忘却（ f {\displaystyle f} ）ゲートを持つ覗き穴LSTMユニット。これらのゲートのそれぞれは順伝播型（または多層）ニューラルネットワークにおける「標準的」なニューロンとして考えることができる。すなわち、それらは（活性化関数を用いて）加重和の活性化を計算する。 i t {\displaystyle i_{t}} 、 o t {\displaystyle o_{t}} および f t {\displaystyle f_{t}} はそれぞれ時間ステップ t {\displaystyle t} における入力、出力、および忘却ゲートの活性化を表わす。 記憶セル c {\displaystyle c} から3つのゲート i {\displaystyle i} 、 o {\displaystyle o} 、および f {\displaystyle f} へ出ていく3本の矢印は「覗き穴」結合を表わす。これらの覗き穴結合は実際には時間ステップ t − 1 {\displaystyle t-1} における記憶セル c {\displaystyle c} の活性化の寄与（すなわち、図が示唆するように、 c t {\displaystyle c_{t}} ではなく c t − 1 {\displaystyle c_{t-1}} の寄与）を示す。言い換えれば、ゲート i {\displaystyle i} 、 o {\displaystyle o} 、および f {\displaystyle f} は時間ステップ t {\displaystyle t} におけるそれらの活性化（すなわち i t {\displaystyle i_{t}} 、 o t {\displaystyle o_{t}} および f t {\displaystyle f_{t}} ）を計算し、時間ステップ t − 1 {\displaystyle t-1} における記憶セル c {\displaystyle c} の活性化（すなわち c t − 1 {\displaystyle c_{t-1}} ）も考慮する。 記憶セルから出る単一の左から右への矢印は覗き穴結合ではなく、 c t {\displaystyle c_{t}} を示す。 × {\displaystyle \times } 記号を含む小さな丸は出力間の要素毎の乗算を表わす。Sのような曲線を含む大きな丸は加重和への（シグモイド関数のような）微分可能な関数の適用を表わす。 LSTMには他にも多くの種類が存在する。 右図は覗き穴結合を持つLSTMユニット（すなわち覗き穴LSTM）の図式的な表現である。覗き穴結合によって、ゲートが定誤差カルーセル（CEC。その活性化がセル状態である）へアクセスすることが可能となる。 h t − 1 {\displaystyle h_{t-1}} は使われず、ほんどの場所で c t − 1 {\displaystyle c_{t-1}} が代わりに使われる。 f t = σ g ( W f x t + U f c t − 1 + b f ) i t = σ g ( W i x t + U i c t − 1 + b i ) o t = σ g ( W o x t + U o c t − 1 + b o ) c t = f t ∘ c t − 1 + i t ∘ σ c ( W c x t + U c c t − 1 + b c ) h t = o t ∘ σ h ( c t ) {\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}c_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}
※この「覗き穴LSTM」の解説は、「長・短期記憶」の解説の一部です。
「覗き穴LSTM」を含む「長・短期記憶」の記事については、「長・短期記憶」の概要を参照ください。
- 覗き穴LSTMのページへのリンク
