Classic and convex non-negative matrix visualization in clustering two benchmark data

• Autorzy: Bartkowiak A.

Identyfikatory

DOI

10.15199/48.2017.01.14

Warianty tytułu

PL

Klasteryzacja przy użyciu klasycznej i typu convex nieujemnej faktoryzacji macierzy na przykładzie dwóch zbiorów danych

• Języki publikacji: EN

Abstrakty

EN

Both the classic and the convex NMF (Nonnegative Matrix Factorization) yield a parsimonious, lower rank representation of the data. They may yield also an indication on a soft clustering of the data vectors, We analyze two sets of diagnostic data, wine and sonar, for which the classic and convex nonnegative matrix factorization (NMF) behave differently when indicating group membership of the data vectors. The data are given as mxn matrices, with columns denoting objects, and rows - their attributes. We assess the clustering by multivariate graphical visualization methods.

PL

Dla wybranych danych ’wine’ i ’sonar’ znajdujemy – za pomoc¸a NMF (nieujemna faktoryzacja macierzy) – ukrytą strukturę tych macierzy oraz wskazania co do klasteryzacji obiektów przedstawianych w kolumnach danych. Otrzymaną klasteryzację potwierdzamy trzema metodami wielozmiennej wizualizacji wektorów danych.

Słowa kluczowe

EN

non-negative matrix factorization; matrix approximation; reduction of dimensionality; multivariate data space; multivariate graphical visualization; clustering of data vectors

PL

nieujemna faktoryzacja macierzy; aproksymacja macierzy; redukcja wymiarowości; wielozmienna przestrzeń danych

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2017
• Tom: R. 93, nr 1
• Strony: 53--59
• Opis fizyczny: Bibliogr. 27 poz., rys., wykr.

Twórcy

autor

Bartkowiak A.

• Wrocław University, Institute of Computer Science, ul. Joliot-Curie 15, 50-383 Wrocław, Poland

Bibliografia

• [1] Bartkowiak A.M., Zimroz R., NMF and PCA as applied to gearbox data, K. Jackowski, et al., (Eds): Intelligent Data Engineering and Automated Learning - IDEAL 2015 LNCS 9375, pp. 199-206, 2015.
• [2] Bartkowiak A. and Szustalewicz A., Kernel Discriminant Analysis – a Practice Using the UCI Wine Data. In: J. Hartmann, J. Michalek, Eds, Biometricke metody a modely w soucasne vede vyskumu, Sbornik referatu. UKZUZ Brno, 2006, pp. 45-56. ISBN 80-86548-89-9.
• [3] Cichocki A., Zdunek R., Phan A.H., Amari Sh.: Nonnegative matrix and tensor factorizations. Applications to exploratory multi-way data analysis and blind source separation. Wiley, Chichester U.K. 2009.
• [4] Ding C., He X.: Matrix factorization and spectral clustering. Proceed. SIAM Data Mining Conf., 2005.
• [5] Ding C., Li T., Jordan MI: Convex and semi-nonnegative matrix factorizations. IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI), 32, pp. 45-55, 2010. [web page]
• [6] Everitt B.S. and Dunn G.: Aplied Multivariate Data Analysis. Arnold, New York, Toronto 1991.
• [7] Fevotte C., Bertin N., Durrieu J-L.: Nonnegative matrix factorization with the Itakura-Saito divergence. With application to music analysis. Neural Computation 21 (3),pp. 793-830, 2009.
• [8] Gillis N.: The why and how of nonnegative matrix factorization. In: J.A.K. Suykens et al. (Eds), Regularization, Optimization, Kernels and Support Machines. Chapman & HallCRC, Chapter 1, pp. 3-39, 2014.
• [9] Gorman R.P., Sejnowski T.L.: Analysis of Hidden Units in a Layered Neural Network Trained to Classify Sonar Targets. Neural Networks, Vol. 1,pp. 75-89, 1988
• [10] Gorman R.P., Sejnowski T.J.: Learned Classification on Sonar Targets Using a Massively Parallel Network. IEEE Trans. on Acoustics, speech, and Signal Processing, 16(7), pp. 1135- 1140, July 1988.
• [11] Hoyer P.O.: Non-negative matrix factorization with sparseness constraints. Journal of Machine Learning Research, 5, 1457- 1469, 2004.
• [12] Kohonen T.: Self-organizing Maps, Springer, Heidelberg, Third Extended Edition 2001, 501 pages.
• [13] Krzyśko M., Wolynski W., et.al.: Systemy uczące się, rozpoznawanie wzorców, analiza skupień i redukcja wymiarowości (Self-learning systems, pattern recognition, cluster analysis and reduction of dimensionality), WNT, Warszawa, 2008.
• [14] Lachenbruch P.: Discriminant Analysis, Hafner Press, London, 1975.
• [15] Lee D.D., Seung H.S.: Learning the parts of objects by nonnegative matrix factorization. Nature 401, 788–791, 1999.
• [16] Lee H., Cichocki A., Choi S.: Kernel nonnegativematrix factorization for spectral EEG feature extraction. Neurocomputing 72, pp. 3182-3190, 2009.
• [17] Li T.,Ding C.: The relationships among various non-negative matrix factorization methods for clustering. Proceedings of the Sixth Int. Conf. on Data Mining, c IEEE, pp. 362-371, 2006.
• [18] Li Y., Ngom A.: The non-negative matrix factorization toolbox for biological data mining. BMC Source Code for Biology and Medicine, 8:(10), pp. 1–15, 2013. [web page] https://sites.google.com/site/nmftool/. [Accessed on 28 Oct. 2016.]
• [19] Mannevaara M., Jilderin J.: Experiments on Gorman and Sejnowski sonar data. Manuscript 2001. [web page] https://notendur.hi.is/benedict/Courses/sonar.pdf. [Accessed on 16 Oct. 2016.]
• [20] Marsland S.: Machine Learning, An Algorithmic Perspective. CRC Press, Taylor & Francis Group, Boca Raton London New York, Chapman & Hall, 2009.
• [21] Okun O.G.: Non-negative matrix factorization and classifiers: experimental study. Proc. Intrn. Conf. on Visualisation, Imaging, and Image Processing (VIIP2004) Marbella, Spain, 2004.
• [22] Tujaka A., Sparseness and locality in Nonnegative Matrix Factorization. Polish J. of Environ. Stud. 16, no. 5B, pp. 286-293, 2007.
• [23] van der Maaten L., Hinton G., Visualizing data using t-SNE, Journal of Machine Learning Research 1, pp. 1-48, 2008.
• [24] Vesanto J., et al., SOM Toolbox for Matlab 5, Som Toolbox Team, HUT, Finland. Libella Oy, Espoo, Version 0beta 2.0, pp. 1-54 November 2001.
• [25] Zdunek R.: Nieujemna faktoryzacja macierzy i tensorów: Zastosowanie do klasyfikacji i przetwarzania sygnałów (Nonnegative matrix and tensor factorization, Application in classification and signal processing.) Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2014.
• [26] Zdunek R.: Convex non-negative matrix factorization with Rank-1 update for clustering. L. Rutkowski et al. (Eds.): ICAISC 2015, LNAI 9120, pp. 59-68, Springer-Verlag Berlin Heidelberg (2015).
• [27] Zurada J.M., Ensari T., Asi E.H., Chorowski J.: Nonnegative matrix factorization and its application to pattern recognition and text mining. Proc. of the 13th Federated Conference on Computer Science and Information Systems, Cracow pp. 11–16, 2013.

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017).