独立RNN (IndRNN)
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/11/16 07:46 UTC 版)
「回帰型ニューラルネットワーク」の記事における「独立RNN (IndRNN)」の解説
独立回帰型ニューラルネットワーク(Independently recurrent neural network、IndRNN)は、従来の完全結合型RNNにおける勾配消失および爆発問題に対処する。1つの層中の個々のニューロンは(この層中の他の全てのニューロンへの完全な結合の代わりに)文脈情報としてそれ自身の過去状態のみを受け取り、ゆえにニューロンは互いの履歴に独立である。勾配バックプロパゲーションは、長期または短期記憶を保持するため、勾配消失および爆発を避けるために制御することができる。ニューロン間情報は次の層において探索される。IndRNNはReLUといった非飽和非線形関数を使って確実に訓練することができる。スキップコネクションを使うことで、深いネットワークを訓練することができる。
※この「独立RNN (IndRNN)」の解説は、「回帰型ニューラルネットワーク」の解説の一部です。
「独立RNN (IndRNN)」を含む「回帰型ニューラルネットワーク」の記事については、「回帰型ニューラルネットワーク」の概要を参照ください。
- 独立RNNのページへのリンク