Using tabu search for feature selection in discriminant analysis

• Autorzy: Stąpor K.

Warianty tytułu

PL

Selekcja cech z wykorzystaniem przeszukiwania z tabu w analizie dyskryminacyjnej

• Języki publikacji: EN

Abstrakty

EN

The well known statistical software packages like STATISTICA [11] continue to use classic variable selection methods in stepwise Discriminant Analysis such as the sequential forward/backward ones. Such stepwise procedures suffer from the nesting effect. Moreover, due to the criterion used for evaluation of variable subsets they are designed for descriptive purposes, not for predictive ones. We propose the new solution to the mentioned problems, the feature selection algorithm based on metaheuristic tabu search. After performing some tests it is found that our tabu search-based algorithm obtains significantly better results than stepwise procedures of statistical package.

PL

W znanych szeroko pakietach do obliczeń statystycznych (np. STATISTICA [11]) selekcja zmiennych wejściowych w module krokowej Analizy Dyskryminacyjnej wykonywana jest z wykorzystaniem klasycznych metod sekwencyjnych w przód/w tył, których wadą jest efekt zagnieżdżania. Również kryterium ewaluacyjne w tychże metodach jest dostosowane do celów deskryptywnych, a nie predyktywnych. Artykuł proponuje nowe rozwiązania wspomnianych problemów – algorytm selekcji z wykorzystaniem metaheurystyki przeszukiwania z tabu. Wykonane, wstępne testy wykazały znacznie lepszą sprawność klasyfikacji w porównaniu z metodami krokowymi.

Słowa kluczowe

EN

stepwise discriminant analysis; feature selection; metaheuristic; tabu search

PL

krokowa analiza dyskryminacyjna; selekcja cech; metaheurystyka; przeszukiwanie z tabu

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2014
• Tom: Vol. 35, nr 4
• Strony: 45--58
• Opis fizyczny: Bibliogr. 14 poz.

Twórcy

autor

Stąpor K.

• Silesian University of Technology, Institute of Informatics

Bibliografia

• Blum Ch., Roli A.: Metaheuristics in combinatorial optimization: overview and concep-tual comparison, ACM Computing Surveys, vol. 35, 3, 2003, p. 268÷308.
• Glover F.: Tabu Search. Part I, ORSA Journal of Computing, v.1, 1989, p. 190÷206.
• Glover F. et al.: Fundamentals of scatter search and path relinking, Control and Cyber-netics, v.29, 2000, p. 653÷684.
• Hastie T., Tibshirani R., Friedman J.: The elements of statistical learning, Springer, New York, 2008.
• Huberty C.J.: Problems with stepwise methods – better alternatives, in: Thompson B. (ed.): Advances in Social Science Methodology, vol.1, Greenwich, CI: JAI Press, 1989, p. 43÷70.
• Jain A., Zonkger D.: Feature selection: evaluation, application, and small sample performance, IEEE Trans. PAMI, 19(2) , 1997, p. 153÷158.
• Kohavi R., John G.: Wrappers for feature subset selection. Artificial Intelligence, vol. 97, 1-2, 1997, p. 234÷273.
• Johnson R.A., Wichern, D.W.: Applied multivariate statistical analysis. Prentice-Hall, New Jersey 1998.
• Murphy P.M., Aha D.W.: UCI repository of machine learning. University of California, Department of Information and Computer Science, [@:] http://www.ics.uci.edu/-~mlearn/MLRepository.html, 1994.
• Pacheco J. et al.: Analysis of new variable selection methods in discriminant analysis, Computational Statistics&Data Analysis, v.51, 3, 2006, p. 1463÷1478.
• STATISTICA – package documentation, StatSoft Inc., 2005.
• Stąpor K.: Classification methods in computer vision. PWN, Warszawa 2011 (in Polish).
• Tahir M.A., et al.: Feature selection using tabu search for improving the classification rate of prostate needle biopsis. IEEE Proc. of the Int. Conf. on Pattern Recognition, Cambridge 2004.
• Zhang H, Sun G.: Feature selection using tabu search method, Pattern Recognition, 35, 2002, p. 701÷711.