ニュートン法からの導出
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/03/13 02:53 UTC 版)
「ガウス・ニュートン法」の記事における「ニュートン法からの導出」の解説
後に示すように、ガウス・ニュートン法は近似関数の最適化に用いられるニュートン法から与えられる。その結果、ガウス・ニュートン法の収束の速さはほとんど2次である。 パラメータβを持つ関数S の最小化をするとき、ニュートン法による漸化式は β ( s + 1 ) = β ( s ) − H − 1 g {\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}-H^{-1}{\boldsymbol {g}}\,} である。ここでg はS の勾配ベクトル、H はS のヘッシアンである。 S = ∑ i = 1 m r i 2 {\displaystyle S=\sum _{i=1}^{m}r_{i}^{2}} であるから、勾配g は次で与えられる： g = 2 J r T r , or, g j = 2 ∑ i = 1 m r i ∂ r i ∂ β j . {\displaystyle {\boldsymbol {g}}=2{J_{r}}^{\mathrm {T} }{\boldsymbol {r}},\quad {\text{or,}}\quad g_{j}=2\sum _{i=1}^{m}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}.} ヘッシアンH は勾配g をβ で微分することで計算される： H j k = 2 ∑ i = 1 m ( ∂ r i ∂ β j ∂ r i ∂ β k + r i ∂ 2 r i ∂ β j ∂ β k ) . {\displaystyle H_{jk}=2\sum _{i=1}^{m}\left({\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}+r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right).} 2階微分項（右辺第2項）を無視することでガウス・ニュートン法を得る。つまり、ヘッシアンは H ≈ 2 J r T J r , or, H j k ≈ 2 ∑ i = 1 m ∂ r i ∂ β j ∂ r i ∂ β k = 2 ∑ i = 1 m J i j J i k {\displaystyle H\approx 2{J_{r}}^{\mathrm {T} }J_{r},\quad {\text{or,}}\quad H_{jk}\approx 2\sum _{i=1}^{m}{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}=2\sum _{i=1}^{m}J_{ij}J_{ik}} と近似される。ここで J i j = ∂ r i ∂ β j {\displaystyle J_{ij}={\frac {\partial r_{i}}{\partial \beta _{j}}}} はヤコビアンJr の成分である。 これらの表現を上述の漸化式に代入して、次式を得る： β ( s + 1 ) = β ( s ) + Δ ; Δ = − ( J r T J r ) − 1 J r T r . {\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}+{\boldsymbol {\Delta }};\quad {\boldsymbol {\Delta }}=-({J_{r}}^{\mathrm {T} }J_{r})^{-1}{J_{r}}^{\mathrm {T} }{\boldsymbol {r}}.} ガウス・ニュートン法の収束は常に保証されているわけではない。2階微分項を無視するという近似、すなわち | r i ∂ 2 r i ∂ β j ∂ β k | ≪ | ∂ r i ∂ β j ∂ r i ∂ β k | {\displaystyle \left|r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right|\ll \left|{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}\right|} に正当性があるのは次の2つの条件の下であり、これらが成り立つ場合には収束が期待される： ri は十分小さい。少なくとも最小値付近。 関数の非線形性は穏やかであり、 ∂ 2 r i / ∂ β j ∂ β k {\displaystyle {\partial ^{2}r_{i}}/{\partial \beta _{j}\partial \beta _{k}}} が比較的小さくなる。
※この「ニュートン法からの導出」の解説は、「ガウス・ニュートン法」の解説の一部です。
「ニュートン法からの導出」を含む「ガウス・ニュートン法」の記事については、「ガウス・ニュートン法」の概要を参照ください。
- ニュートン法からの導出のページへのリンク
