Wavelet Decomposition of Signal and Feature Selection by LASSO for Pattern Recognition

• Autorzy: Libal U.

Warianty tytułu

PL

Falkowa dekompozycja sygnału oraz selekcja cech za pomoca˛ LASSO w zadaniu rozpoznawania wzorców

• Języki publikacji: EN

Abstrakty

EN

There is searched the balance between an increase of pattern recognition risk and a decrease of a model size. The experiments are performed for noisy signals, decomposed in wavelet bases. Wavelet representation of signals, i.e. representation by wavelet coefficients called signal features, constitutes the full model. The presented feature selection method is based on the Lasso algorithm (Least Absolute Shrinkage and Selection Operator). The aim of the experiment is to find an optimal model size and investigate the relations between the risk, the number of signal features and the noise level. A new criterion of feature selection is proposed that minimizes both the risk and the number of signal features. The experimental risk of classification is analysed for all possible reduced by Lasso models and for several values of noise levels.

PL

Poszukiwana jest równowaga pomi˛edzy wzrostem ryzyka rozpoznawania obrazów oraz zmniejszeniem rozmiaru modelu. Badania przeprowadzono dla zaszumionych sygnałów, zdekomponowanych w bazach falkowych. Falkowa reprezentacja sygnałów, czyli reprezentacja za pomoca˛współczynników falkowych zwanych cechami sygnału, stanowi pełny model. Przedstawiona metoda selekcji cech jest oparta o algorytm Lasso (Least Absolute Shrinkage and Selection Operator). Celem eksperymentu jest znalezienie optymalnego rozmiaru modelu oraz zbadanie zale˙znosci pomie˛dzy ryzykiem, liczba˛ cech sygnału oraz poziomem szumu. Zaproponowano nowe kryterium selekcji cech, które minimalizuje ryzyko oraz liczbe˛ cech sygnału. Eksperymentalne ryzyko błe˛dnej klasyfikacji jest badane dla wszystkich moz˙liwych zredukowanych za pomoca˛ Lasso modeli oraz kilku wartosci poziomu szumu.

Słowa kluczowe

EN

risk; feature selection; wavelets; signal decomposition

PL

ryzyko; rozpoznawanie wzorców; selekcja cech; falka; dekompozycja sygnału

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2013
• Tom: R. 89, nr 4
• Strony: 89--91
• Opis fizyczny: Bibliogr. 12 poz., rys., tab.

Twórcy

autor

Libal U.

• Wroclaw University of Technology

Bibliografia

• [1] Akaike, H.: Information theory and an extension of maximum likelihood principle, Proc. 2nd International Symposium on Information Theory, Eds. B.N. Petrov and F. Csaki, Budapest, pp. 267–281, 1973.
• [2] Daubechies, I.: Ten Lectures on Wavelets, CBMS-NSF Lecture Notes nr. 61, SIAM, 1992.
• [3] Devroye, L., Gyorfi, L., and Lugosi, G.: A probabilistic theory of pattern recognition, Springer-Verlag, New York, 1996.
• [4] Donoho, D. L.: De-noising by soft-thresholding, IEEE Transactions on Information Theory, 41(3), pp. 613–627, 1995.
• [5] Efron, B., Hastie, T., Johnstone, I., and Tibshirani, R.: Least Angle Regression, Annals of Statistics, 32(2), pp. 407–499, 2004.
• [6] Kowalski, C.: Zastosowanie analizy falkowej w diagnostyce silników indukcyjnych, Przegla˛d Elektrotechniczny, 1, pp. 21–26, 2006.
• [7] Libal, U.: Feature Selection for Pattern Recognition by LASSO and Thresholding Methods – a Comparison, Proc. 16th IEEE International Conference on Methods and Models in Automation and Robotics - MMAR 2011, Mi˛edzyzdroje, 22-25 August 2011, pp. 168–173.
• [8] Libal, U.: Kryteria selekcji modelu w eksperymentalnym rozpoznawaniu sygnałów zdekomponowanych w bazach falkowych, Interdyscyplinarnosc badan naukowych 2012: praca zbiorowa / pod red. Jarosława Szreka, Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2012, pp. 297–302.
• [9] Osowski, S. and Kurek, J.: Selekcja cech diagnostycznych w zastosowaniu do rozpoznania ró˙znych uszkodzen pr ˛etów maszyny indukcyjnej, Przegla˛d Elektrotechniczny, 1, pp. 121–123, 2010.
• [10] Schwarz, G.: Estimating the dimension of a model, Annals of Statistics, 6(2), pp. 461–464, 1978.
• [11] Tibshirani, R.: Regression Shrinkage and Selection via the Lasso, Journal of the Royal Statistical Society. Series B, 58(1), pp. 267–288, 1996.
• [12] Zou, H., Hastie, T., and Tibshirani, R.: On the “degrees of freedom” of the lasso, Annals of Statistics, 35(5), pp. 2173–2192, 2007.