Employing Probabilistic Dissimilarity for Feature Discovery in a Game of Chess

• Autorzy: Łopatka R. , Olszewski D.

Warianty tytułu

PL

Wykorzystanie pseudo-odległości probabilistycznej w odkrywaniu cech w grze w szachy

• Języki publikacji: EN

Abstrakty

EN

We present the feature discovery technique based on the use of the probabilistic dissimilarity, i.e., a measure of dissimilarity between two probability distributions. The solutions in the field of feature discovery, generally, fall into feature extraction and feature selection methods. Both of these groups form the feature subset on the basis of the initial feature set. Also, both of the groups use the numeric representations of features, what often can be misleading, since the different physical meaning of different features can be lost, when they are all treated only as numbers. The approach we propose does not require the initial feature set. Moreover, it does not require the numeric representation of the features. Instead, we propose using only one numeric, decimal quantity allowing for effective feature discovery. We demonstrate that taking advantage of the probabilistic dissimilarity during the feature retrieval phase can benefit by discovering relevant features. We show the way to create a probabilistic model of the analyzed data set, required for the use of the proposed technique. Finally, we report the experimental results of application of the feature discovery method introduced in this paper to the game of chess.

PL

Przedstawiamy technikę odkrywania cech wykorzystującą ˛ pseudoodległość probabilistyczną będącą miarą podobieństwa pomiędzy dwoma rozkładami prawdopodobieństwa. Rozwiązania zaproponowane w dziedzinie odkrywania cech mogą być w ogólności podzielone na metody ekstrakcji i selekcji cech. Obie te grupy metod formują podzbiór cech na podstawie początkowego zbioru cech. Obie te grupy wykorzystują również reprezentacje liczbowe cech, co często może być mylące, gdyż różne znaczenie fizyczne różnych cech może zostać utracone, kiedy wszystkie cechy traktowane są jedynie jako liczby. Proponowane podejście nie wymaga początkowego zbioru cech. Co więcej, nie wymaga ono reprezentacji liczbowej cech. W zamian proponujemy wykorzystanie tylko jednej dziesiętnej wielkości liczbowej, pozwalającej na skuteczne odkrywanie cech. Demonstrujemy, że wykorzystanie pseudoodległości probabilistycznej pozwala odkryć istotne cechy. Przedstawiamy także sposób budowy modelu probabilistycznego analizowanych danych, wymaganego do zastosowania proponowanej techniki. W części pracy poświęconej eksperymentom, przedstawiamy wyniki zastosowania proponowanej metody odkrywania cech w dziedzinie gry w szachy.

Słowa kluczowe

EN

feature discovery; feature extraction; feature selection; probabilistic dissimilarity; Hellinger distance; game of chess

PL

odkrywanie cech; ekstrakcja cech; selekcja cech; pseudoodległość probabilistyczna; odległość Hellingera; gra w szachy

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2011
• Tom: R. 87, nr 1
• Strony: 240--244
• Opis fizyczny: Bibliogr. 20 poz., rys.

Twórcy

autor

Łopatka R.

autor

Olszewski D.

• Faculty of Electrical Engineering, Warsaw University of Technology, ul. Koszykowa 75, 00-662 Warszawa,

Bibliografia

• [1] B. C. Kuo and K. Y. Chang, “Feature Extraction for Small Sample Size Classification Problem,” IEEE Transactions on Geoscience and Remote Sensing, vol. 45, no. 3, pp. 756–764, March 2007.
• [2] S. F. Ding, Z. Z. Shi, Y. C. Wang, and S. S. Li, “A Novel Feature Extraction Algorithm,” in Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, vol. 3.IEEE, August 2005, pp. 1762–1767.
• [3] J. Mao and A. K. Jain, “Artificial Neural Networks for Feature Extraction and Multivariate Data Projection,” IEEE Transactions on Neural Networks, vol. 6, no. 2, pp. 296–317, March 1995.
• [4] E. Choi and C. Lee, “Optimizing Feature Extraction for Multiclass Problem,” IEEE Transactions on Geoscience and Remote Sensing, vol. 39, no. 3, pp. 521–528, March 2001.
• [5] R. Battiti, “Using Mutual Information for Selecting Features in Supervised Neural Net Learning,” IEEE Transactions on Neural Networks, vol. 5, no. 4, pp. 537–550, 1994.
• [6] B. Krishnapuram, A. J. Hartemink, L. Carin, and M. A. Figueiredo, “A Bayesian Approach to Joint Feature Selection and Classifier Design,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 9, pp. 1105–1111, September 2004.
• [7] H. Liu and L. Yu, “Toward Integrating Feature Selection Algorithm for Classification and Clustering,” IEEE Transactions on Knowledge and Data Engineering, vol. 17, no. 4, pp. 491–502, April 2005.
• [8] L. Wang, “Feature Selection with Kernel Class Separability,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 9, pp. 1534–1546, September 2008.
• [9] J. Yan, B. Zhang, N. Liu, S. Yan, Q. Cheng, W. Fan, Q. Yang, W. Xi, and Z. Chen, “Effective and Efficient Dimensionality Reduction for Large-Scale and Streaming Data Preprocessing,” IEEE Transactions on Knowledge and Data Engineering, vol. 18, no. 3, pp. 320–333, March 2006.
• [10] P. F. Hsieh, D. S. Wang, and C. W. Hsu, “A Linear Feature Extraction for Multiclass Classification Problems Based on Class Mean and Covariance Discriminant Information,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 2, pp. 223–235, February 2006.
• [11] B. Bursteinas and J. Long, “Transforming Supervised Classifiers for Feature Extraction,” in Proceedings of the 12th IEEE International Conference on Tools with Artificial Intelligence. IEEE, November 2000, pp. 274–280.
• [12] S. F. Ding, W. K. Jia, C.-Y. Su, and Z. Z. Shi, “Research of Pattern Feature Extraction and Selection,” in Proceedings of the Seventh International Conference on Machine Learning and Cybernetics, vol. 1. IEEE, July 2008, pp. 466–471.
• [13] D. Olszewski, M. Kolodziej, and M. Twardy, “A Probabilistic Component for K-Means Algorithm and its Application to Sound Recognition,” Przeglad Elektrotechniczny, vol. 86, no. 6, pp. 185–190, June 2010.
• [14] M. Basseville, “Distance Measures for Signal Processing and Pattern Recognition,” Signal Processing, vol. 18, no. 4, pp. 349– 369, December 1989.
• [15] D. Pollard. (2000) Asymptopia. Book in progress. [Online]. Available: http://www.stat.yale.edu/ pollard/Books/Asymptopia/
• [16] A. L. Gibbs and F. E. Su, “On Choosing and Bounding Proba- bility Metrics,” International Statistical Review, vol. 70, no. 3, pp. 419–435, February 2002.
• [17] H. Abdi, “Distance,” in Encyclopedia of Measurement and Statistics, N. J. Salkind, Ed. Sage Publications, Thousand Oaks, CA, 2007.
• [18] A. A. Borovkov, Mathematical Statistics. Gordon and Breach Science Publishers, 1998.
• [19] P. Diaconis and S. L. Zabell, “Updating Subjective Probability,” Journal of the American Statistical Association, vol. 77, no. 380, pp. 822–830, December 1982.
• [20] R. Lopatka and V. Rajlich, “On Feature Discovery in Board Games,” in Game-On Conference (GameOn’NA 5th Annual North American 2009), August 2009.