Rozpoznawanie gestów statycznych ręki za pomocą rękawicy sensorowej

• Autorzy: Piskozub Jacek , Tomalczyk Krzysztof , Strumiłło Paweł , Piskozub Maciej

Identyfikatory

DOI

10.15199/48.2019.09.29

Warianty tytułu

EN

A sensor glove allowing the real-time recognition of the position of the fingers

• Języki publikacji: PL

Abstrakty

PL

W niniejszej pracy opisano rękawicę sensorową, umożliwiającą rozpoznawanie wybranych gestów ręki. W urządzeniu zastosowano 10 rezystancyjnych czujników ugięcia, zamocowanych za pomocą materiałowych kieszeni do rękawicy. Układ czujników tworzy dwa rzędy, jeden na wysokości stawów śródręczno-paliczkowych oraz drugi, na wysokości stawów międzypaliczkowych. Wykonany prototyp przetestowano na grupie trzech osób wykonujących 18 statycznych gestów polskiego języka migowego. Otrzymane dane sprawdzono pod kątem możliwości ich automatycznej klasyfikacji za pomocą trzech wybranych klasyfikatorów: k-najbliższych sąsiadów, naiwnego klasyfikatora bayesowskiego oraz drzewa decyzyjnego. Klasyfikacje przeprowadzano dla trójwymiarowego zbioru danych otrzymanych z czujników umiejscowionych nad stawami międzypaliczkowymi palców: środkowego, wskazującego i kciuka oraz dla dziesięciowymiarowego zbioru danych otrzymanych ze wszystkich czujników. Najlepsze wyniki klasyfikacji znaków dla obu zbiorów uzyskano za pomocą naiwnego klasyfikatora bayesowskiego, którego skuteczność wyniosła 66,66%.

EN

This work describes a sensor glove that allows real-time recognition of the position of the fingers. The device uses 10 resistive flex sensors fastened with material glove pockets. The sensor system consists of two rows, one at the height of the metacarpophalangeal joints and the second at the height of the interphalangeal joints. The prototype was tested on a group of three people performing 18 static gestures of Polish sign language. The data obtained was checked for the possibility of their automatic classification using three selected classifiers: k-nearest neighbours, naive Bayesian classifier and decision tree. Classifications were carried out for a simplified three-dimensional dataset obtained from sensors located above interphalangeal joints of the middle, index and thumb fingers and for the ten-dimensional dataset obtained from all sensors. The best character classification results for both sets were obtained for the naive Bayesian classifier, with a maximum recognition rate of 66.66%.

Słowa kluczowe

PL

interfejs człowiek-maszyna; rozpoznawanie gestów; czujniki inercyjne; czujnik ugięcia

EN

human machine interface; gesture recognition; inertial sensors; flex sensor

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2019
• Tom: R. 95, nr 9
• Strony: 142--145
• Opis fizyczny: Bibliogr. 17 poz., rys., tab.

Twórcy

autor

Piskozub Jacek

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Tomalczyk Krzysztof

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Strumiłło Paweł

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Piskozub Maciej

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

Bibliografia

• [1] Pradipa R., Kavitha S., Hand Gesture Recognition – Analysis of Various Techniques, Methods and Their Algorithms, International Journal of Innovative Research in Science, Engineering and Technology, (2014)
• [2] Patent Landscape Report Hand Gesture Recognition, “Patseer.com”, (2017)
• [3] Systemy wizyjne część I – podstawy, oświetlenie i obiektywy, „automatykab2b.pl”,(2009)
• [4] Project Soli, “atap.google.com”,
• [5] Sang Y., Shi L., Liu Y., Micro Hand Gesture Recognition System Using Ultrasonic Active Sensing, IEEE Access, (2018), nr.6, 49339 – 49347, DOI: 10.1109/ACCESS.2018.2868268
• [6] MGC3030/3130 3D Tracking and Gesture Controller Data Sheet, “Microchip.com”, (2016)
• [7] Sobota G., Elektromiografia i jej zastosowanie w zaburzeniach aparatu żucia, Twój Przegląd Stomatologiczny, (2012), nr.6, 57-61
• [8] Geng W., Du Y., Jin W., Wei W., Hu Y., Li J., Gesture recognition by instantaneous surface EMG images, Scientific Reports, (2016), nr. 6, 1-3 DOI: 10.1038/srep36571
• [9] Moin A., Zhou A., Rahimi A., Benatti S., Menon A., Tamakloe S., Ting J., Yamamoto N., Khan Y., Burghardt F., Benini L., Arias Ana C., Rabaey Jan M., An EMG Gesture Recognition System with Flexible High-Density Sensors and Brain-Inspired High-Dimensional Classifier, (2018), DOI: 10.1109/ISCAS.2018.8351613
• [10] Sayre Glove (first wired data glove), “evl.uic.edu”
• [11] Pelayo R., How to Use a Flex Sensor, “teachmicro.com”, (2018),
• [12] Lin, B.-S., Lee, I.-J., Yang, S.-Y., Lo, Y.-C., Lee, J., Chen, J.-L., Design of an Inertial-Sensor-Based Data Glove for Hand Function Evaluation. Sensors, (2018), 18, 1545., DOI: 10.3390/s18051545
• [13] In a first for wearable optics, researchers develop stretchy fiber to capture body motion, “phys.org”, (2017)
• [14] Perret J., Vander Poorten E., Touching Virtual Reality: a Review of Haptic Gloves, Proceedings of 16th International Confernce on New Actuators, (2018), 270 - 274
• [15] https://haptx.com
• [16] Pacchierotti C., Sinclair S., Solazzi M., Frisoli A., Hayward V., Prattichizzo D., Wearable Haptic Systems for the Fingertip and the Hand: Taxonomy, Review, and Perspectives, IEEE Transactions on Haptics, (2017), vol. 10, 580-600, DOI: 10.1109/TOH.2017.2689006
• [17] Koronacki J., Ćwik J., “Statystyczne systemy uczące się”, Akademicka Oficyna Wydawnicza EXIT, (2008)

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).