エルマンネットワークとジョーダンネットワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/16 07:46 UTC 版)
「回帰型ニューラルネットワーク」の記事における「エルマンネットワークとジョーダンネットワーク」の解説
エルマン（英語版）ネットワークは、一連の「文脈ユニット」（右図中のu）を追加した3層ネットワーク（右図中でx、y、zとして垂直に配置されている）である。中央（隠れ）層は1の重みに固定されたこれらの文脈ユニットに結合されている。個々の時間ステップにおいて、入力は順伝播され、学習規則が適用される。固定された逆結合は文脈ユニット中の隠れユニットの以前の値のコピーを保存する（これは、それらが学習規則が適用する前に結合を通じて伝播されるためである）。したがって、ネットワークは一種の状態を維持することができ、これによって標準的な多層パーセプトロンの能力を超える時系列予測といった課題を実行することが可能となる。 ジョーダン（英語版）ネットワークはエルマンネットワークと似ている。文脈ユニットは隠れ層の代わりに出力層から入力を得る。ジョーダンネットワーク中の文脈ユニットは状態層とも呼ばれる。それらはそれら自身への回帰的結合を持つ。 エルマンネットワークとジョーダンネットワークは「単純回帰型ネットワーク（SRN）」としても知られている。 エルマンネットワーク h t = σ h ( W h x t + U h h t − 1 + b h ) y t = σ y ( W y h t + b y ) {\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}} ジョーダンネットワーク h t = σ h ( W h x t + U h y t − 1 + b h ) y t = σ y ( W y h t + b y ) {\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}y_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}} 変数および関数 x t {\displaystyle x_{t}} : 入力ベクトル h t {\displaystyle h_{t}} :隠れ層ベクトル y t {\displaystyle y_{t}} : 出力ベクトル W {\displaystyle W} 、 U {\displaystyle U} 、および b {\displaystyle b} : パラメータ行列およびベクトル σ h {\displaystyle \sigma _{h}} および σ y {\displaystyle \sigma _{y}} : 活性化関数
※この「エルマンネットワークとジョーダンネットワーク」の解説は、「回帰型ニューラルネットワーク」の解説の一部です。
「エルマンネットワークとジョーダンネットワーク」を含む「回帰型ニューラルネットワーク」の記事については、「回帰型ニューラルネットワーク」の概要を参照ください。
- エルマンネットワークとジョーダンネットワークのページへのリンク
