確率的勾配ブースティング
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/27 08:02 UTC 版)
「勾配ブースティング」の記事における「確率的勾配ブースティング」の解説
勾配ブースティングが導入後されて間もない頃、フリードマンは、ブレイマンのブートストラップ・アグリゲーション（バギング）法を参考にして、アルゴリズムのマイナーチェンジを提案した。具体的には、アルゴリズムの各反復において、置換なしでランダムに抽出されたトレーニングセットのサブサンプルにベース学習期を適合させることを提案した。。フリードマンは、この変更により、勾配ブースティングの精度が大幅に向上することを確認しました。 サブサンプルはトレーニングセットから一定の割合 f {\displaystyle f} で選ばれる。 f = 1 {\displaystyle f=1} のとき、アルゴリズムは決定論的であり、上記のものと同じになる。 f {\displaystyle f} の値が小さいと、アルゴリズムにランダム性を導入し、オーバーフィッティングの防止に役立つ。回帰木は各反復でより小さなデータセットに適合させるため、アルゴリズムも高速になる。フリードマンは小規模および中規模のトレーニングセットのいて 0.5 ≤ f ≤ 0.8 {\displaystyle 0.5\leq f\leq 0.8} で良好な結果が得られることを突き止めた。そのため、 f {\displaystyle f} は通常は0.5に設定される。これは、トレーニングセットの半分が各基本学習者の構築に使用されることを意味する。 また、バギングの場合と同様に、サブサンプリングでは、次の基本学習者の構築に使用されなかった観測値の予測を評価することで、予測性能の向上のアウトオブバッグエラーを定義できる。アウトオブバッグの推定値は、独立した検証データセットの必要性を回避するのに役立つが、実際の性能向上や最適な反復回数を過小評価することがよくある 。
※この「確率的勾配ブースティング」の解説は、「勾配ブースティング」の解説の一部です。
「確率的勾配ブースティング」を含む「勾配ブースティング」の記事については、「勾配ブースティング」の概要を参照ください。
- 確率的勾配ブースティングのページへのリンク
