BazEkon - Biblioteka Główna Uniwersytetu Ekonomicznego w Krakowie

BazEkon home page

Meny główne

Autor
Gatnar Eugeniusz
Tytuł
Losowy dobór cech a agregacja drzew klasyfikacyjnych
Random Feature Selection and Aggregation of the Classification Trees.
Źródło
Studia Ekonomiczne / Akademia Ekonomiczna w Katowicach, 2003, nr 29, s. 57-69, rys., bibliogr. 14 poz.
Tytuł własny numeru
Metody wnioskowania statystycznego w badaniach ekonomicznych
Słowa kluczowe
Dobór zmiennych, Modele ekonometryczne, Analiza dyskryminacyjna, Model z losowymi parametrami, Metody samowsporne
Variables selection, Econometric models, Discriminant analysis, Model with random parameters, Bootstrap
Uwagi
summ.
Abstrakt
Artykuł dotyczy zagadnienia oceny wartości prognostycznych modeli budowanych na podstawie drzewa klasyfikacyjnego. Ponieważ wartość prognostyczna drzewa klasyfikacyjnego nie jest zbyt duża, przedstawiono propozycję wyeliminowania braku stabilności tego modelu poprzez agregację w jeden z wielu pojedynczych modeli dyskryminacyjnych. Zaproponowano zamiast losowego doboru obiektów do prób uczących, losowy dobór zmiennych do modelu, co skutkuje wyraźną redukcją błędu klasyfikacji.

Single classification tree model depends on the contents of the training set, i.e. the small changes in the data lead to major changes in the response y, therefore it is not a stable classifier. In result it often gives a high classification error for the set of cases to be classified. The serious reduction of the classification error is possible by aggregation of the multiple classification trees. The proposed methods, i.e., bagging, boosting and adaptive bagging (a hybrid method) are based on bootstrap sampling from the training set. They are successful in reduction of a classification error but, on the other hand, resampling leads to major modification of the training set. Randomization can be also used in the tree-based classifiers in a different way. Instead of weighting cases and sampling them for the training samples, it is possible to use training samples with randomly chosen subsets of the variables. In addition, this method does not modify the distribution of the predictors in the training set. (original abstract)
Dostępne w
Biblioteka Główna Uniwersytetu Ekonomicznego w Krakowie
Biblioteka Szkoły Głównej Handlowej w Warszawie
Biblioteka Główna Uniwersytetu Ekonomicznego w Katowicach
Biblioteka Główna Uniwersytetu Ekonomicznego w Poznaniu
Biblioteka Główna Uniwersytetu Ekonomicznego we Wrocławiu
Bibliografia
Pokaż
  1. Amit Y., Geman D. (1997). Shape Quantization and Recognition with Randomized Trees. "Neural Computation" 9, pp. 1545-1588.
  2. Blake C., Keogh E., Merz CJ. (1998). UCI Repository of Machine Learning Databases. Department of Information and Computer Science. University of California, Irvine, CA.
  3. Breiman L. (1996). Bagging Predictors. "Machine Learning" 24, pp. 123-140.
  4. Breiman L. (1998). Arcing Classifiers. "Annals of Statistics" 26, pp. 801-849.
  5. Breiman L. (1999). Using Adaptive Bagging to Debias Regressions. Technical Report, Department of Statistics, University of California, Berkeley.
  6. Breiman L. (2001). Random Forests. "Machine Learning" 45, pp. 5-32.
  7. Breiman L., Friedman J., Olshen R., Stone C. (1984). Classification and Regression Trees. Chapman & Hall/CRC Press, London.
  8. Freund Y., Schapire R.E. (1997). A Decision-theoretic Generalization of On-line Learning and an Application to Boosting. "Journal of Computer and System Sciences" 55, pp. 119-139.
  9. Gatnar E. (2001). Nieparametryczna metoda dyskryminacji i regresji. PWN, Warszawa.
  10. Gatnar E. (2002). Agregacja modeli dyskryminacyjnych. "Taksonomia". Prace Naukowe Akademii Ekonomicznej we Wrocławiu, nr 942, pp. 217-226.
  11. Hastie T., Tibshirani R., Friedman J. (2001). The Elements of Statistical Learning. Springer, New York.
  12. Ho T.K. (1998). The Random Subspace Method for Constructing Decision Forests. "IEEE Trans, on Pattern Analysis and Machine Learning" 20, pp. 832-844.
  13. Kohavi R., Wolpert D.H. (1996). Bias Plus Variance Decomposition for Zero-One Loss Functions. In: Saitta L. (Ed.). Machine Learning: Proceedings of the 13th International Conference. Morgan Kaufman, pp. 313-321.
  14. Quinlan J.R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann, San Mateo.
Cytowane przez
Pokaż
ISSN
2083-8603
Język
pol
Udostępnij na Facebooku Udostępnij na Twitterze Udostępnij na Google+ Udostępnij na Pinterest Udostępnij na LinkedIn Wyślij znajomemu