Towards gesture recognition in three-dimensional space

• Autorzy: Gadomer Ł.

Warianty tytułu

PL

Rozpoznawanie gestów w przestrzeni trójwymiarowej

• Języki publikacji: EN

Abstrakty

EN

In this work, author describes the continuation of his researches about gesture recognition. The previous varaint of the solution was using plain data and was dependent of the performance velocity. In the described researches author made it speed and position invariant by resolving problem of too long or too short gestures – in a previous solution the user had to decide about gesture duration time before performing, now it is not necessary. He also proposed another data representations, using features computed of recorded data. Previous representation, which assumed storing relative positions between samples, was replaced by transforming each gesture to the axis origin and normalizing. He also tried to connect these two representations – plain data and features – into a single one. All of these new data representations were tested using the SVM classifier, which was judged to be the best for the given problem in the previous work. Each of them was tested using one of four popular SVM kernel functions: linear, polynomial, sigmoid and radial basis function (RBF). All achieved results are presented and compared.

PL

W niniejszym artykule autor opisał kontynuację swoich badań dotyczących rozpoznawania gestów. Ulepszył on stworzone przez siebie rozwiązanie w taki sposób, aby nagrywanie i rozpoznawanie gestów było niezależne od szybkości ich wykonywania, a co za tym idzie — ich zróżnicowanej długości. Zaproponował on także inne reprezentacje danych, za pomocą których wyrażany jest stworzony zbiór gestów. Wcześniejsze rozwiązanie, opierające się na przechowywaniu relatywnego położenia dłoni w stosunku do poprzedniej zarejestrowanej próbki (poprzedniego położenia), zastąpione zostało sprowadzeniem gestu do początku układu współrzędnych i zastąpieniem wartości relatywnych absolutnymi, a następnie ich normalizację Z tak przygotowanego zbioru gestów obliczone zostały cechy stanowiące drugą zaproponowaną reprezentację danych. Trzecia reprezentacja stanowi połączenie dwóch poprzednich: zawiera jednocześnie bezpośrednie wartości wyrażające ruch dłoni, jak i obliczone na podstawie jego cechy. Wszystkie trzy reprezentacje zostały przetestowane przy pomocy klasyfikatora, który okazał się najlepszy dla zadanego problemu podczas przeprowadzania wcześniejszych badań: SVM. Porównano, jak z zadanym problemem radzą sobie cztery popularne funkcje jądra: liniowa, wielomianowa, sigmoidalna i radialna. Otrzymane wyniki zostały przedstawione, porównane i omówione.

Słowa kluczowe

EN

data classification; gesture recognition; data features; three-dimensional space; kinect

PL

klasyfikacja danych; rozpoznawanie gestów; cechy; przestrzeń trójwymiarowa; kinect

• Wydawca: Oficyna Wydawnicza Politechniki Białostockiej
• Czasopismo: Advances in Computer Science Research
• Rocznik: 2015
• Tom: Nr 12
• Strony: 5--20
• Opis fizyczny: Bibliogr. 21 poz., rys., tab.

Twórcy

autor

Gadomer Ł.

• Faculty of Computer Science, Bialystok University of Technology, Białystok, Poland

Bibliografia

• [1] D. McNeill. Gesture and Thought. University of Chichago Press, Chicago, USA, 2007.
• [2] R. Xu, S. Zhou, and W. J. Li. Mems accelerometer based nonspecific-user hand gesture recognition. Sensors Journal, IEEE, 12(5):1166–1173, May 2012.
• [3] A. Akl, C. Feng, and S. Valaee. A novel accelerometer-based gesture recognition system. Signal Processing, IEEE Transactions on, 59(12):6197–6205, Dec 2011.
• [4] S. M. A Hussain, and A. B. M. H. Rashid. User independent hand gesture recognition by accelerated dtw. In Informatics, Electronics Vision (ICIEV), 2012 International Conference on, pages 1033–1037, May 2012.
• [5] Y. Zhou, D. Saito, and L. Jing. Adaptive template adjustment for personalized gesture recognition based on a finger-worn device. In Awareness Science and Technology and Ubi-Media Computing (iCAST-UMEDIA), 2013 International Joint Conference on, pages 610–614, Nov 2013.
• [6] A. Boyali, and M. Kavakli. A robust gesture recognition algorithm based on sparse representation, random projections and compressed sensing. In Industrial Electronics and Applications (ICIEA), 2012 7th IEEE Conference on, pages 243–249, July 2012.
• [7] J. O. Wobbrock, A. D. Wilson, and Y. Li. Gestures without libraries, toolkits or training: A $1 recognizer for user interface prototypes. In ACM Symposium on User Interface Software and Technology (UIST ’07). Newport, Rhode Island, pages 159–168, July 2007.
• [8] C. Nyirarugira, H.-R. Choi, J. Kim, M. Hayes, and T. Kim. Modified levenshtein distance for real-time gesture recognition. In Image and Signal Processing (CISP), 2013 6th International Congress on, volume 2, pages 974–979, Dec 2013.
• [9] S. Bodiroza, G. Doisy, and V. V. Hafner. Position-invariant, real-time gesture recognition based on dynamic time warping. In Human-Robot Interaction (HRI), 2013 8th ACM/IEEE International Conference on, pages 87–88, March 2013.
• [10] Y. Wang, C. Yang, X. Wu, S. Xu, and H. Li. Kinect based dynamic hand gesture recognition algorithm research. In Intelligent Human-Machine Systems and Cybernetics (IHMSC), 2012 4th International Conference on, volume 1, pages 274–279, Aug 2012.
• [11] T. Hachaj, M. R. Ogiela, and M. Piekarczyk. Image processing and communications challenge 5. In Real-Time Recognition of Selected Karate Techniquies Using GDL Approach, pages 99–106, 2014.
• [12] M. Panwar. Hand gesture recognition based on shape parameters. In Computing, Communication and Applications (ICCCA), 2012 International Conference on, pages 1–6, Feb 2012.
• [13] S. S. Rautaray, and A. Agrawal. Interaction with virtual game through hand gesture recognition. In Multimedia, Signal Processing and Communication Technologies (IMPACT), 2011 International Conference on, pages 244–247, Dec 2011.
• [14] Z. Ren, J. Meng, and J. Yuan. Depth camera based hand gesture recognition and its applications in human-computer-interaction. In Information, Communications and Signal Processing (ICICS) 2011 8th International Conference on, pages 1–5, Dec 2011.
• [15] W. Gao, J. Ma, S. Shan, X. Chen, W. Zheng, H. Zhang, J. Yan and J. Wu. Handtalker: A multimodal dialog system using sign language and 3-d virtual human. In Tieniu Tan, Yuanchun Shi, and Wen Gao, editors, ICMI, volume 1948 of Lecture Notes in Computer Science, pages 564–571. Springer, 2000.
• [16] G. Fang, W. Gao, and D. Zhao. Large vocabulary sign language recognition based on fuzzy decision trees. Systems, Man and Cybernetics, Part A: Systems and Humans, IEEE Transactions on, 34(3):305–314, May 2004.
• [17] M. Maebatake, I. Suzuki, M. Nishida, Y. Horiuchi and S. Kuroiwa. Sign language recognition based on position and movement using multi-stream hmm. In Universal Communication, 2008. ISUC ’08. Second International Symposium on, pages 478–481, Dec 2008.
• [18] Ł. Gadomer, M. Skoczylas. Real time gesture recognition using selected classifiers. Architecturae et Atribus, 6(1):14–18, 2014.
• [19] Microsoft. Kinect for Windows. http://www.microsoft.com/en-us/ kinectforwindows/ , 30.03.2015.
• [20] Microsoft. Kinect for Windows SDK v1.7. http://www.microsoft.com/ en-us/download/details.aspx?id=36996 , 08.05.2014.
• [21] V. N. Vapnik. The Nature of Statistical Learning Theory. Springer-Verlag New York, Inc., New York, NY, USA, 1995.