Nesterovの加速勾配降下法
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/06/12 04:04 UTC 版)
「確率的勾配降下法」の記事における「Nesterovの加速勾配降下法」の解説
1983年に Yurii Nesterov が発表。 x 0 = w 0 x t = w t − 1 − η ∇ Q i ( w t − 1 ) w t = x t + t − 1 t + 2 ( x t − x t − 1 ) {\displaystyle {\begin{aligned}x_{0}&=w_{0}\\x_{t}&=w_{t-1}-\eta \nabla Q_{i}(w_{t-1})\\w_{t}&=x_{t}+{\frac {t-1}{t+2}}(x_{t}-x_{t-1})\end{aligned}}}
※この「Nesterovの加速勾配降下法」の解説は、「確率的勾配降下法」の解説の一部です。
「Nesterovの加速勾配降下法」を含む「確率的勾配降下法」の記事については、「確率的勾配降下法」の概要を参照ください。
- Nesterovの加速勾配降下法のページへのリンク