独立RNN (IndRNN)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/11/16 07:46 UTC 版)
「回帰型ニューラルネットワーク」の記事における「独立RNN (IndRNN)」の解説
独立回帰型ニューラルネットワーク（Independently recurrent neural network、IndRNN）は、従来の完全結合型RNNにおける勾配消失および爆発問題に対処する。1つの層中の個々のニューロンは（この層中の他の全てのニューロンへの完全な結合の代わりに）文脈情報としてそれ自身の過去状態のみを受け取り、ゆえにニューロンは互いの履歴に独立である。勾配バックプロパゲーションは、長期または短期記憶を保持するため、勾配消失および爆発を避けるために制御することができる。ニューロン間情報は次の層において探索される。IndRNNはReLUといった非飽和非線形関数を使って確実に訓練することができる。スキップコネクションを使うことで、深いネットワークを訓練することができる。
※この「独立RNN (IndRNN)」の解説は、「回帰型ニューラルネットワーク」の解説の一部です。
「独立RNN (IndRNN)」を含む「回帰型ニューラルネットワーク」の記事については、「回帰型ニューラルネットワーク」の概要を参照ください。
ウィキペディア小見出し辞書の「独立RNN」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。
お問い合わせ。
- 独立RNNのページへのリンク
