The regularization method in the classification task according to given examples

• Autorzy: Kwiatkowski Włodzimierz

Identyfikatory

DOI

10.5604/01.3001.0013.6594

Warianty tytułu

PL

Metoda regularyzacji w zadaniu klasyfikacji według zadanych przykładów

• Języki publikacji: EN

Abstrakty

EN

The article considers the problem of classification based on the given examples of classes. As a feature vector, a complete characteristic of object is assumed. The peculiarity of the problem being solved is that the number of examples of the class may be less than the dimension of the feature vector, and also most of the coordinates of the feature vector can be correlated. As a consequence, the feature covariance matrix calculated for the cluster of examples may be singular or ill-conditioned. This disenable a direct use of metrics based on this covariance matrix. The article presents a regularization method involving the additional use of statistical properties of the environment.

PL

W artykule rozpatrywany jest problem klasyfikacji na podstawie wskazanych przykładów klas. Jako wektor cech przyjmuje się kompletną charakterystykę obiektów. Osobliwość rozwiązywanego zadania wynika z tego, że liczba przykładów klasy może być mniejsza od wymiaru wektora cech, a także wektor cech może zawierać współrzędne skorelowane. W konsekwencji macierz kowariancji cech obliczana dla klastra przykładów może być osobliwa albo źle uwarunkowana. Uniemożliwia to bezpośrednie stosowanie metryk bazujących na tej macierzy kowariancji. W artykule została przedstawiona metoda regularyzacji polegająca na dodatkowym wykorzystaniu statystycznych właściwości środowiska.

Słowa kluczowe

EN

regularization; classification; pattern recognition; exploratory data analysis

PL

regularyzacja; klasyfikacja; rozpoznawanie wzorców; eksploracja danych

• Wydawca: Instytut Teleinformatyki i Automatyki, Wydział Cybernetyki, Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego
• Czasopismo: Przegląd Teleinformatyczny
• Rocznik: 2019
• Tom: T. 7, Nr 3-4 (49)
• Strony: 3--13
• Opis fizyczny: Bibliogr. 16 poz., rys., wykr.

Twórcy

autor

Kwiatkowski Włodzimierz

• Institute of Teleinformatics and Cybersecurity, Faculty of Cybernetics, MUT, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warsaw, Poland

Bibliografia

• [1] BENEDIKTSSON J.A., BENEDIKTSSON, K., Hybrid consensus theoretic classification with pruning and regularization. IEEE 1999 International Geoscience and Remote Sensing Symposium, 1999, Volume 5, pp. 2486-2488.
• [2] FUKUNAGA, K., Feature Extraction Algorithm Using Distance Transformation. IEEE Transactions on Computers C-21(1), February 1972, pp. 56-63.
• [3] HSUN-HSIEN CHANG, MOURA JOSE M. F., Classification by Cheeger Constant Regularization. 2007 IEEE International Conference on Image Processing, 2007, Volume 2, pp. II-209-II-212.
• [4] JIANGTAO PENG, LEFEI ZHANG, LUOQING LI, Regularized set-to-set distance metric learning for hyperspectral image classification. Pattern Recognition Letters, Volume 83, Part 2, 1 November 2016, pp. 143-151.
• [5] JIM JING-YAN WANG, YI WANG, SHIGUANG ZHAO, XIN GAO, Maximum mutual information regularized classification. Engineering Applications of Artificial Intelligence, Volume 37, January 2015, pp. 1-8.
• [6] JUN WANG, GUANGJUN YAO, GUOXIAN YU, Semi-supervised classification by discriminative regularization. Applied Soft Computing, Volume 58, September 2017, pp. 245-255.
• [7] KWIATKOWSKI W., Metody automatycznego rozpoznawania wzorców. BEL Studio, Warszawa, 2010.
• [8] KWIATKOWSKI W., Wykrywanie anomalii bazujące na wskazanych przykładach. Przegląd Teleinformatyczny, nr 1-2, 2018, s. 3-21.
• [9] KWIATKOWSKI W., Recommendations as a result of decision evaluations based on reference examples. Teleinformatics Review, No. 1-2, 2019, pp. 3-23.
• [10] MAHALANOBIS P.C., On the generalized distance in statistics. Proceedings of National Institute of Sciences (India), Vol. 2, No. 1, 1936, pp. 49-55.
• [11] MAJUMDAR A., WARD R. K., Classification via group sparsity promoting regularization. 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, 2009, pp. 861-864.
• [12] WARMUS M., Uogólnienie odległości Mahalanobisa. Listy Biometryczne, Nr 30-33, 1971, s. 3-7.
• [13] TAO ZHANG, CHEN GONG, WENJING JIA, XIAONING SONG, JUN SUN, XIAOJUN WU, Supervised Image Classification with Self-Paced Regularization. 2018 IEEE International Conference on Data Mining Workshops (ICDMW), 2018, pp. 411-414.
• [14] YANG LI, DAPENG TAO, WEIFENG LIU, YANJIANG WANG, Co-regularization for classification. 2014 IEEE International Conference on Security, Pattern Ana-lysis, and Cybernetics (SPAC), 2014, pp. 218-222.
• [15] YATING SHEN, YUNYUN WANG, ZHIGUO MAARMUS, Label-expanded manifold regularization for semi-supervised classification. 12th International Conference on Intelligent Systems and Knowledge Engineering (ISKE), 2017, pp. 1-4.
• [16] ZHILEI CHAI, WEI SONG, HUILING WANG, FEI LIU, A semi-supervised auto-encoder using label and sparse regularizations for classification. Applied Soft Computing, Volume 77, April 2019, pp. 205-217.