自動微分の導出
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2019/09/21 05:56 UTC 版)
自動微分の基本原理は連鎖律を用いた微分の分解である。たとえば、簡単な合成関数である y = g(h(x)) = g(w) に対して連鎖律を適用すると d y d x = d y d w d w d x {\displaystyle {\frac {dy}{dx}}={\frac {dy}{dw}}{\frac {dw}{dx}}} を得る。 自動微分は大きく2種類に分けられ、それぞれボトムアップ型自動微分(フォーワードモード、狭義の自動微分)とトップダウン型自動微分(リバースモード、高速自動微分)と呼ばれる。ボトムアップ型自動微分では連鎖律を内側から外側に計算し(dw/dxを計算した後で dy/dw を計算する)、トップダウン型自動微分では外側から内側に計算する。
※この「自動微分の導出」の解説は、「自動微分」の解説の一部です。
「自動微分の導出」を含む「自動微分」の記事については、「自動微分」の概要を参照ください。
- 自動微分の導出のページへのリンク