Multiclass classification strategy based on dipoles

• Autorzy: Topczewska M.

Warianty tytułu

PL

Strategia klasyfikacji wieloklasowej oparta na dipolach

• Języki publikacji: EN

Abstrakty

EN

The problem of multiclass classification is considered and resolved through the approach based on dipoles. The found hyperplane separates objects from different classes cutting between them and not through their middle. The crux is to define a suitable functional, which is small on lines with good separation power and little damage, easy to calculate and to minimize. The numerical tests were performed and the criterion modified in a way that preserves the intention of finding cuts between classes, which separate as many data points as possible. The approach was tested on some synthetic data sets using a recursive implementation.

PL

W pracy rozpatrywane jest zagadnienie klasyfikacji w przypadku wieloklasowym oraz podejście oparte na dipolach. Poszukiwana hiperpłaszczyzna powinna rozdzielać obiekty należące do różnych klas, ale nie przecinając środka zadnej klasy. Zdefiniowano w tym celu odpowiedni funkcjonał, by przyjmował on małe wartości w przypadku prawidłowej klasyfikacji większości obiektów, był prosty do obliczenia i minimalizacji. Przeprowadzono testy numeryczne oraz dokonano modyfikacji kryterium, by znaleźć takie rozdzielenie klas, by odseparować możliwie dużo obiektów. Podejście było testowane na wybranych syntetycznych zbiorach danych przy wykorzystaniu implementacji w postaci wywołań rekurencyjnych.

Słowa kluczowe

EN

classification; multiclass problem; dipole

PL

klasyfikacja; problem wieloklasowy; dipol

• Wydawca: Oficyna Wydawnicza Politechniki Białostockiej
• Czasopismo: Zeszyty Naukowe Politechniki Białostockiej. Informatyka
• Rocznik: 2011
• Tom: Z. 8
• Strony: 79--90
• Opis fizyczny: Bibliogr. 24 poz., rys.

Twórcy

autor

Topczewska M.

• Bialystok University of Technology, Faculty of Computer Science, Białystok, Poland

Bibliografia

• [1] E.L. Allwein, R.E. Schapire, Y. Singer, Reducing multiclass to binary: a unifying approach for margin classifiers, Journal of Machine Learning Research, 88 Multiclass classification strategy based on dipoles 1:113-141, 2001.
• [2] M. Aly, Survey on multiclass classification methods, Technical Report, Caltech, USA, 2005.
• [3] L. Bobrowski, Data exploration based on convex and piecewise criterion functions (in Polish), Wydawnictwo Politechniki Białostockiej, Białystok, 2005.
• [4] R.C. Bose, D.K. Ray-Chaudhuri, On A Class of Error Correcting Binary Group Codes, Information and Control 3:68–79, 1960.
• [5] C.J. Burges, A tutorial on support vector machines for pattern recognition, Data Mining and Knowledge Discovery, 2:121-167, 1998.
• [6] Y. Chen M.M. Crawford, J. Ghosh, Integrating Support Vector Machines in a hierarchical output space decomposition framework, In Proceedings of 2004 International Geoscience and Remote Sensing Symposium, Anchorage, Alaska, vol. 2, 949–953, 2004.
• [7] T.M. Cover, P.E. Heart, Nearest neighbor pattern classification, IEEE Trans. Inform. Theory, IT 13:21-27, 1967.
• [8] K. Crammer, Y. Singer, On the learnability and design of output codes for multiclass problems. Proceedings of the Thirteen Annual Conference on Computational Learning Theory (COLT 2000), Stanford University, Palo Alto, CA, June 28 - July 1, 2000.
• [9] T.G. Dietterich, G. Bakiri, Solving multiclass learning problem via error correcting codes, Journal of Artificial Intelligence Research, 2:263-386, 1995.
• [10] O.R. Duda, P.E. Heart, D.G. Stork, Pattern Classification, Second edition, John Wiley & Sons, 2001.
• [11] R. A. Fisher, The use of multiple measurements in taxonomic problems, Annals of Eugenics, 7:179–188, 1936.
• [12] A. Hocquenghem, Codes correcteurs d’erreurs (in French), Chiffres, Paris, 2, 147–156, 1959
• [13] C.W. Hsu, C.J. Lin, A comparison of methods for multi-class support vector machines, IEEE Trans. Neural Netw., 13:415-425, 2002.
• [14] J.E. Gentle, Random Number Generation and Monte Carlo Methods, Springer Verlag, 1998.
• [15] S. Kumar, J. Ghosh, M.M. Crawford, Hierarchical fusion of multiple classifiers for hyperspectral data analysis, Pattern Analysis& Applications, 5:210-220, 2002.
• [16] T.M. Mitchell, Machine Learning, McGraw-Hill Science, New York, 1997.
• [17] J.R. Quinlan, Induction of decision trees, Machine Learning 1(1):81-106, 1986.
• [18] J.R. Quinlan, C4.5: Programs for Machine Learning, Morgan Kaufman Publishers, Inc., 1993.
• [19] C.N. Silla Jr., A.A. Freitas A survey of hierarchical classification across different application domains, Data Mining and Knowledge Discovery, 22:31-72, 2011.
• [20] M. Topczewska, K. Frischmuth, Numerical aspects of weight calculation in classification methods, In PTSK Conference, Krynica Górska, Poland, Sept. 26-29, 2007.
• [21] M. Topczewska, K. Frischmuth, Classification strategies based on dipols (in Polish), Pomiary, Automatyka, Kontrola, 56(6):632-635, 2010.
• [22] V. N. Vapnik, Statistical learning theory Wiley J., 1998.
• [23] V. Vural, J.G. Dy, A hierarchical method for multi-class support vector machines. In Proceedings of the Twenty-First International Conference on Machine Learning, 105-112, 2004.
• [24] J.Weston, C.Watkins, Support vector machines for multi-class pattern recognition, In Proceedings of the Seventh European Symposium On Artificial Neural Networks (ESANN 99), Bruges, April 21-23, 1999.