バックフィッティングアルゴリズム アルゴリズムの修正

ウィキペディア

バックフィッティングアルゴリズム

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/09/14 15:14 UTC 版)

アルゴリズムの修正

ユニークな解を得やすくするための修正が可能である。${\mathcal {V}}_{1}(S_{i})$ を、固有値が 1 である S_i の固有ベクトルによって張られる空間とする。このとき、${\hat {S}}b=0$ を満たす どの b も、 $\sum _{i=1}^{p}b_{i}=0$ であるような $b_{i}\in {\mathcal {V}}_{1}(S_{i})\forall i=1,\dots ,p$ を持つ。今、$A$ を、${\mathcal {V}}_{1}(S_{1})+\dots +{\mathcal {V}}_{1}(S_{p})$ 上の直交射影行列にとるとき、次の修正バックフィッティングアルゴリズムを得る。

   Initialize ${\hat {\alpha }}=1/N\sum _{1}^{N}y_{i},{\hat {f_{j}}}\equiv 0$,$\forall i,j$, ${\hat {f_{+}}}=\alpha +{\hat {f_{1}}}+\dots +{\hat {f_{p}}}$
   Do until ${\hat {f_{j}}}$ converge:
       Regress $y-{\hat {f_{+}}}$ onto the space ${\mathcal {V}}_{1}(S_{i})+\dots +{\mathcal {V}}_{1}(S_{p})$, setting $a=A(Y-{\hat {f_{+}}})$
       For each predictor j:
           Apply backfitting update to $(Y-a)$ using the smoothing operator $(I-A_{i})S_{i}$, yielding new estimates for ${\hat {f_{j}}}$