RMSProp
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/12 04:04 UTC 版)
2012年に Tijmen Tieleman らが発表した方法。AdaGrad の変形。勾配の2乗の指数移動平均を取るように変更。 β = 0.9 {\displaystyle \beta =0.9} などを使用。 r t = β r t − 1 + ( 1 − β ) ∇ Q i ( w ) ∘ ∇ Q i ( w ) η t = η 0 r t + ϵ w t + 1 = w t − η t ∘ ∇ Q i ( w ) {\displaystyle {\begin{aligned}r_{t}&=\beta r_{t-1}+(1-\beta )\nabla Q_{i}(w)\circ \nabla Q_{i}(w)\\\eta _{t}&={\frac {\eta _{0}}{\sqrt {r_{t}+\epsilon }}}\\w_{t+1}&=w_{t}-\eta _{t}\circ \nabla Q_{i}(w)\end{aligned}}}
※この「RMSProp」の解説は、「確率的勾配降下法」の解説の一部です。
「RMSProp」を含む「確率的勾配降下法」の記事については、「確率的勾配降下法」の概要を参照ください。
ウィキペディア小見出し辞書の「RMSProp」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。
お問い合わせ。
- RMSPropのページへのリンク
