Application of the information-gap theory for evaluation of nearest neighbours method robustness to data uncertainty

• Autorzy: Pluciński M.

Warianty tytułu

PL

Zastosowanie teorii luk informacyjnych do wyznaczania odporności metody najbliższych sąsiadów na niepewność danych

• Języki publikacji: EN

Abstrakty

EN

The paper describes a new method based on the information-gap theory which enables an evaluation of worst case error predictions of the kNN method in the presence of a specified level of uncertainty in the data. There are presented concepts of a robustness and an opportunity of the kNN model and calculations of these concepts were performed for a simple 1-D data set and next, for a more complicated 6-D data set. In both cases the method worked correctly and enabled evaluation of the robustness and the opportunity for a given lowest acceptable quality rc or a windfall quality rw. The method enabled also choosing of the most robust kNN model for a given level of an uncertainty [alfa].

PL

W artykule opisane jest zastosowanie teorii luk informacyjnych do określania największego błędu modelu kNN w przypadku wystąpienia w danych niepewności o określonym poziomie. Przedstawione zostały pojęcia odporności i sposobności modelu kNN oraz pokazane zostały przykłady ich wyznaczania dla prostych danych jednowejściowych i bardziej złożonych, sześciowejściowych. W obu przypadkach metoda działała prawidłowo, a dodatkowo umożliwiała wyznaczanie najbardziej odpornego modelu kNN przy określonym poziomie niepewności [alfa].

Słowa kluczowe

EN

k-nearest neighbours method; local regression; function approximation; information-gap theory; data uncertainty

PL

metoda k najbliższych sąsiadów; regresja lokalna; aproksymacja funkcji; teoria luk informacyjnych; niepewność danych

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2012
• Tom: R. 88, nr 10b
• Strony: 272--275
• Opis fizyczny: Bibliogr. 17 poz., rys.

Twórcy

autor

Pluciński M.

• West Pomeranian University of Technology, Faculty of Computer Science and Information Technology, Żołnierska 49, 71-210 Szczecin,

Bibliografia

• [1] Cichosz P., Learning systems. WNT Publishing House, Warsaw, 2000, [in Polish]
• [2] Hand D., Mannila H., Smyth P., Principles of data mining. The MIT Press, 2001
• [3] Moore A.W., Atkeson C.G., Schaal S.A., Memorybased learning for control. Technical Report CMU-RI-TR-95-18, Carnegie-Mellon University, Robotics Institute, 1995
• [4] Kordos M., Blachnik M., Strzempa D., Do we need whatever more than k-NN? Proceedings of 10th International Conference on Artificial Intelligence and Soft Computing, Zakopane, Poland, 414-421, Springer, 2010
• [5] Korzeń M., Klęsk P., Sets of approximating functions with finite Vapnik-Czervonenkis dimension for nearest-neighbours algorithm. Pattern Recognition Letters, 32, 1882-1893, 2011
• [6] Atkeson C.G., Moore A.W., Schaal S.A., Locally weighted learning. Artificial Intelligence Rev., 11, 11-73, 1997
• [7] Pluciński M., Application of data with missing attributes in the probability RBF neural network learning and classification. Artificial Intelligence and Security in Computing Systems: 9th International Conference ACS'2002: Proceedings, Eds.: J. Sołdek, L. Drobiazgiewicz, Boston/Dordrecht/London: Kluwer Academic Publishers, 63-72, 2003
• [8] Wasserman P.D., Advanced methods in neural computing. New York, Van Nostrand Reinhold, 1993
• [9] Wright W. A., Bayesian approach to neural network modeling with input uncertainty. IEEE Transactions on Neural Networks, vol. 10, no. 6, 1261-1270, 1999
• [10] Duch W., Uncertainty of data, fuzzy membership functions, and multilayer perceptrons. IEEE Transactions on Neural Networks, vol. 16, no. 1, 10-23, 2005
• [11] Piegat A., Fuzzy modeling and control. Physica Verlag, Heidelberg-New York, 2001
• [12] Ben-Haim Y., Set-models of information-gap uncertainty: axioms and an inference scheme. Journal of the Franklin Institute, 336, 1093-1117, 1999
• [13] Ben-Haim Y., Information-gap decision theory: decisions under severe uncertainty. New York: Academic Press, 2001
• [14] Ben-Haim Y., Uncertainty, probability and information-gaps. Reliability Engineering and System Safety, 85, 249-266, 2004
• [15] Pierce S.G., Ben-Haim Y., Worden K. , Manson G., Evaluation of neural network robust reliability using informationgap theory. IEEE Transactions on Neural Networks, vol. 17, no. 6, 1349-1361, 2006
• [16] Moore R. M. , Kearfott R.B., Cloud M.J., Introduction to interval analysis, Society for Industrial and Applied Mathematics, Philadelphia, 2009
• [17] Rump S.M., INTLAB – INTerval LABoratory. Developments in Reliable Computing, pp. 77-104, Kluwer Academic Publishing, Dordrecht, 1999