gradient descentとは？わかりやすく解説

最急降下法（さいきゅうこうかほう、英: gradient descent, steepest descent）^[1]は、関数（ポテンシャル面）の傾き（一階微分）のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つ。勾配法としては最も単純であり、直接・間接にこのアルゴリズムを使用している場合は多い。最急降下法をオンライン学習に改良した物を確率的勾配降下法と呼ぶ。

尚、最急降下法の“最急”とは、最も急な方向に降下することを意味している。すなわち、収束の速さに関して言及しているわけではない（より速いアルゴリズムがあり得る）。

手法

$n$ 次のベクトル $x = (x 1, x 2, ... , x n)$ を引数とする関数を $f (x)$ としてこの関数の極小値を求めることを考える。

勾配法では反復法を用いて $x$ を解に近づけていく。 $k$ 回目の反復で解が $x (k)$ の位置にあるとき、最急降下法では次のようにして値を更新する^[1]。

${\begin{aligned}{\boldsymbol {x}}^{(k+1)}={\boldsymbol {x}}^{(k)}-\alpha \operatorname {grad} f({\boldsymbol {x}}^{(k)})={\boldsymbol {x}}^{(k)}-\alpha {\begin{bmatrix}\partial f({\boldsymbol {x}}^{(k)})/\partial x_{1}^{(k)}\\\partial f({\boldsymbol {x}}^{(k)})/\partial x_{2}^{(k)}\\\vdots \\\partial f({\boldsymbol {x}}^{(k)})/\partial x_{n}^{(k)}\end{bmatrix}}\end{aligned}}$

カテゴリ（最適化 • アルゴリズム） • ソフトウェア（英語版）

[1]

一般	バリア関数ペナルティ関数法（英語版）
微分可能	ラグランジュの未定乗数法逐次二次計画法連続線形計画（英語版）

gradient descentとは？ わかりやすく解説

最急降下法

手法

急上昇のことば

「gradient descent」の関連用語

gradient descentとは？わかりやすく解説