BazEkon - Biblioteka Główna Uniwersytetu Ekonomicznego w Krakowie

BazEkon home page

Meny główne

Autor
Gatnar Eugeniusz (The Karol Adamiecki University of Economics in Katowice, Poland)
Tytuł
Gradient Boosting in Regression
Gradientowa odmiana metody boosting w analizie regresji
Źródło
Acta Universitatis Lodziensis. Folia Oeconomica, 2005, t. 194, s. 11-19, tab., bibliogr. 37 poz.
Tytuł własny numeru
Multivariate Statistical Analysis : Probability, Statistical Inference and Applications
Słowa kluczowe
Metoda gradientu, Analiza regresji, Regresja nieparametryczna, Modele regresji
Gradient method, Regression analysis, Nonparametric regression, Regression models
Uwagi
streszcz., summ.
Abstrakt
Szeroko stosowane w praktyce metody nieparametryczne wykorzystujące tzw. drzewa regresyjne mają jedną istotną wadę. Otóż wykazują one niestabilność, która oznacza, że niewielka zmiana wartości cech obiektów w zbiorze uczącym może prowadzić do powstania zupełnie innego modelu. Oczywiście wpływa to negatywnie na ich trafność prognostyczną. Tę wadę można jednak wyeliminować, dokonując agregacji kilku indywidualnych modeli w jeden. Znane są trzy metody agregacji modeli i wszystkie opierają się na losowaniu ze zwracaniem obiektów ze zbioru uczącego do kolejnych prób uczących: agregacja bootstrapowa (boosting), losowanie adaptacyjne (bagging) oraz metoda hybrydowa, łącząca elementy obu poprzednich. W analizie regresji szczególnie warto zastosować gradientową, sekwencyjną, odmianę metody boosting. W istocie polega ona wykorzystaniu drzew regresyjnych w kolejnych krokach do modelowania reszt dla modelu uzyskanego w poprzednim kroku. (abstrakt oryginalny)

The successful tree-based methodology has one serious disadvantage: lack of stability. That is, regression tree model depends on the training set and even small change in a predictor value could lead to a quite different model. In order to solve this problem single trees are combined into one model. There are three aggregation methods used in classification: bootstrap aggregation (bagging), adaptive resample and combine (boosting) and adaptive bagging (hybrid bagging-boosting procedure). In the field of regression a variant of boosting, i.e. gradient boosting, can be used. Friedman (1999) proved that boosting is equivalent to a stepwise function approximation in which in each step a regression tree models residuals from last step model. (original abstract)
Dostępne w
Biblioteka Główna Uniwersytetu Ekonomicznego w Krakowie
Biblioteka Szkoły Głównej Handlowej
Biblioteka Główna Uniwersytetu Ekonomicznego w Katowicach
Biblioteka Główna Uniwersytetu Ekonomicznego w Poznaniu
Biblioteka Główna Uniwersytetu Ekonomicznego we Wrocławiu
Bibliografia
Pokaż
  1. Breiman L. (1996), Bagging predictors, Machine Learning, 24, 123-140.
  2. Breiman L. (1999), Using adaptive bagging to debias regressions, Technical Report, 547, Statistics Department, University of California, Berkeley.
  3. Breiman L., Friedman, J., Olshen, R., Slone, C. (1984), Classification and Regression Trees, Wadsworth, Belmont, CA.
  4. Freund Y., Schapire, R.E. (1997), A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 55, 119-139.
  5. Friedman J.H. (1991), Multivariate adaptive regression splines, Annals of Statistics, 19, 1-141.
  6. Friedman J.H. (1999), Greedy Function Approximation: a Gradient Boosting Machine, Statistics Department, Stanford University, Stanford.
  7. Galnar E. (2001), Nieparametryczna metoda dyploryminacji i regresji (Nonparametric method for discrimination and regression; in Polish) PWN, Warszawa.
  8. Harrison D., Rubinfeld, D.L. (1978), Hedonic prices and the demand for clean air, Journal of Environmental Economics and Management, 8, 81-102.
  9. Hastie T., Tibshirani, R., F'riedman, J. (2001), The Elements of Statistical Learning, Springer, New York.
  10. Pace R.K., Barry, R. (1997), Sparse spatial autoregressions, Statistics and Probability Letters, 33, 291-297.
Cytowane przez
Pokaż
ISSN
0208-6018
Język
eng
Udostępnij na Facebooku Udostępnij na Twitterze Udostępnij na Google+ Udostępnij na Pinterest Udostępnij na LinkedIn Wyślij znajomemu