勾配ブースティング
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/08/26 23:20 UTC 版)
勾配ブースティング（こうばいブースティング、Gradient Boosting）は、回帰や分類などのタスクのための機械学習手法であり、弱い予測モデル weak prediction model（通常は決定木）のアンサンブルの形で予測モデルを生成する[1][2]。決定木が弱い学習者 weak learner である場合、結果として得られる予測器は勾配ブースト木と呼ばれ、通常はランダムフォレストよりも優れている[3]。他のブースティング手法と同様に段階的にモデルを構築するが、任意の微分可能な損失関数の最適化を可能にすることで一般化している。
- ^ a b Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-03-01). “Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index” (英語). Journal of Infrastructure Systems 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512. ISSN 1943-555X.
- ^ a b c d Hastie, T.; Tibshirani, R.; Friedman, J. H. (2009). “10. Boosting and Additive Trees”. The Elements of Statistical Learning (2nd ed.). New York: Springer. pp. 337–384. ISBN 978-0-387-84857-0. オリジナルの2009-11-10時点におけるアーカイブ。
- ^ Piryonesi, S. Madeh; El-Diraby, Tamer E. (2021-02-01). “Using Machine Learning to Examine Impact of Type of Performance Indicator on Flexible Pavement Deterioration Modeling” (英語). Journal of Infrastructure Systems 27 (2): 04021005. doi:10.1061/(ASCE)IS.1943-555X.0000602. ISSN 1076-0342.
- ^ Breiman, L. (June 1997). “Arcing The Edge”. Technical Report 486 (Statistics Department, University of California, Berkeley).
- ^ a b c Friedman, J. H. (February 1999). Greedy Function Approximation: A Gradient Boosting Machine.
- ^ a b c Friedman, J. H. (March 1999). Stochastic Gradient Boosting.
- ^ a b Mason, L.; Baxter, J.; Bartlett, P. L.; Frean, Marcus (1999). "Boosting Algorithms as Gradient Descent" (PDF). In S.A. Solla and T.K. Leen and K. Müller (ed.). Advances in Neural Information Processing Systems 12. MIT Press. pp. 512–518.
- ^ a b Mason, L.; Baxter, J.; Bartlett, P. L.; Frean, Marcus (May 1999). Boosting Algorithms as Gradient Descent in Function Space.
- ^ Cheng Li. “A Gentle Introduction to Gradient Boosting”. 2021年10月6日閲覧。
- ^ Note: in case of usual CART trees, the trees are fitted using least-squares loss, and so the coefficient for the region is equal to just the value of output variable, averaged over all training instances in .
- ^ Note that this is different from bagging, which samples with replacement because it uses samples of the same size as the training set.
- ^ a b Ridgeway, Greg (2007). Generalized Boosted Models: A guide to the gbm package.
- ^ Learn Gradient Boosting Algorithm for better predictions (with codes in R)
- ^ Tianqi Chen. Introduction to Boosted Trees
- ^ Cossock, David and Zhang, Tong (2008). Statistical Analysis of Bayes Optimal Subset Ranking Archived 2010-08-07 at the Wayback Machine., page 14.
- ^ Yandex corporate blog entry about new ranking model "Snezhinsk" (in Russian)
- ^ Lalchand, Vidhi. "Extracting more from boosted decision trees: A high energy physics case study". arXiv:2001.06033 [stat.ML]。
- ^ Friedman, Jerome (2003). “Multiple Additive Regression Trees with Application in Epidemiology”. Statistics in Medicine 22 (9): 1365–1381. doi:10.1002/sim.1501. PMID 12704603.
- ^ Elith, Jane (2008). “A working guide to boosted regression trees”. Journal of Animal Ecology 77 (4): 802–813. doi:10.1111/j.1365-2656.2008.01390.x. PMID 18397250.
- ^ Elith. “Boosted Regression Trees for ecological modeling”. CRAN. CRAN. 2018年8月31日閲覧。
- ^ https://www.kdnuggets.com/2013/06/exclusive-interview-dan-steinberg-salford-systems-data-mining-solutions-provider.html
- ^ Wu, Xindong; Kumar, Vipin; Ross Quinlan, J.; Ghosh, Joydeep; Yang, Qiang; Motoda, Hiroshi; McLachlan, Geoffrey J.; Ng, Angus et al. (2008-01-01). “Top 10 algorithms in data mining” (英語). Knowledge and Information Systems 14 (1): 1–37. doi:10.1007/s10115-007-0114-2. ISSN 0219-3116.
[続きの解説]
「勾配ブースティング」の続きの解説一覧
- 1 勾配ブースティングとは
- 2 勾配ブースティングの概要
- 3 勾配ツリーブースティング
- 4 正則化
- 5 使用法
- 6 関連項目
- 勾配ブースティングのページへのリンク
