Algorytmy rozpoznawania ruchów głowy w elektronicznym interfejsie człowiek-komputer

• Autorzy: Borowska-Terka A. , Strumiłło P.

Identyfikatory

DOI

10.15199/48.2017.08.35

Warianty tytułu

EN

Algorithms for head movements’ recognition in an electronic humancomputer interface

• Języki publikacji: PL

Abstrakty

PL

Celem badań opisanych w niniejszym komunikacie jest wykorzystanie specjalnego interfejsu dla osoby niewidomej umożliwiającego sterowanie menu urządzenia nawigacyjnego za pomocą ruchów głowy. Zastosowano czujniki inercyjne wbudowane w układ stereowizyjny umieszczony na głowie użytkownika systemu. Dla 2-sekundowych okien czasowych rejestrowanych sygnałów wyliczono parametry statystyczne takie jak: średnie, minimum, maksimum, odchylenie standardowe, kurtoza oraz współczynniki korelacji dla sygnałów pochodzących z trój-osiowego akcelerometru i trój-osiowego żyroskopu. Dla tak przygotowanych danych treningowych zbadano skuteczność działania czterech różnych klasyfikatorów do rozpoznawania różnych ruchów głowy służących do sterowania interfejsem. Najlepsze wyniki uzyskano dla tzw. lasu losowego, którego skuteczność dla zbioru sygnałów testowych wyniosła 98,89%. Prawidłowe rozpoznawanie ruchów głowy umożliwi osobie niewidomej komunikowanie się z urządzeniem mobilnym i zarządzanie aplikacjami za pomocą ruchów głowy.

EN

The purpose of the study described in this communication is to apply a special interface for the blind person to control the menu of the navigation device using head movements. Inertial sensors built into the stereovision system positioned on the user's head are used. For two-second time windows of the recorded signals, statistical parameters such as: mean, minimum, maximum, standard deviation, kurtosis, and correlation coefficients for signals from a three-axis accelerometer and a three-axis gyroscope were calculated. For such training data, the effectiveness of the four different classifiers was assessed to distinguish different head movements. The best results were obtained for the so-called random forest whose efficiency for the test set signals achieved 98.89%. Proper recognition of head movements will allow the blind person to communicate with the mobile interface and control applications by means of head movements.

Słowa kluczowe

PL

elektroniczny interfejs człowiek maszyna; rozpoznawanie gestów; czujniki inercyjne; IMU; MEMS

EN

electronic human-machine interface gesture recognition; inertial sensors; IMU; MEMS

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2017
• Tom: R. 93, nr 8
• Strony: 131--134
• Opis fizyczny: Bibliogr. 19 poz., rys., tab.

Twórcy

autor

Borowska-Terka A.

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Strumiłło P.

• Politechnika Łódzka, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

Bibliografia

• [1] Nielsen J., Usability Engineering, Morgan Kaufman, Amsterdam, 2009.
• [2] Helal A., Mounir M., Abdulrazak B. (Eds.): The Engineering Handbook of Smart Technology for Aging, Disability, and Independence, John Wiley & Sons, Inc. (2008)
• [3] Strumiłło P., Materka A., Królak A., Systemy interakcji człowiek komputer dla osób niepełnosprawnych, Biuletyn Techniczno- Informacyjny Zarządu Oddziału Łódzkiego SEP, nr.1 (2011), 2-9
• [4] Dumas B., Lalanne D., Oviatt S., Multimodal Interfaces: A Survey of Principles, Models and Frameworks, Human Machine Interaction, Springer-Verlag, Berlin Heidelberg, (2009), 3-26
• [5] Poryzala P., Materka A., Cluster analysis of CCA coefficients for robust detection of the asynchronous SSVEPs in brain–computer interfaces, Biomedical Signal Processing and Control, Vol. 10, March 2014, 201-208
• [6] Kocejko T., Bujnowski A., Wtorek J., Eye mouse for disabled, IEEE Conference on Human System Interaction (HIS), Kraków, czerwiec, 2008
• [7] Królak A., Strumiłło P., Eye-blink detection system for human–computer interaction, International Journal on Universal Access in the Information Society, vol. 11, no. 4 (2011), 409-419
• [8] Strumiłło P., Elektroniczne systemy nawigacji osobistej dla niewidomych i słabowidzących, Politechnika Łódzka, 2012 (http://cybra.lodz.pl/dlibra/doccontent?id=3772)
• [9] Song Y., Luo Y., Lin J., Detection of Movements of Head and Mouth to Provide Computer Access for Disabled, 2011 International Conference on Technologies and Applications of Artificial Intelligence, 11–13 Nov. 2011.
• [10] Jia P., Hu H.H., Lu T., Yuan K., Head gesture recognition for hands‐free control of an intelligent wheelchair, Industrial Robot: An International Journal, vol. 34 (2007), no.1, 60-68
• [11] Matsuzawa K., Ishii C., Control of an electric wheelchair with a brain-computer interface headset, 2016 International Conference on Advanced Mechatronic Systems (ICAMechS), Nov. 30-Dec. 3 2016
• [12] Mitra S., Acharya T., Gesture Recognition: A Survey, IEEE Trans. Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 37 (2007), no.3, 311-324
• [13] Yang J.-Y., Wang J.-S., Chen Y.-P., Using acceleration measurements for activity recognition: an effective learning algorithm for constructing neural classifiers, Pattern Recognition Letters, vol. 29, no. 16, 1st December 2008, 2213-2220
• [14] Kupryjanow A., Kaszuba K., Rozpoznawanie kategorii ruchu ludzkiego na podstawie analizy sygnałów pochodzących z trójosiowych czujników przyspieszenia, Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej Nr 26, XIX Seminarium Zastosowanie Komputerów w Nauce i Technice’ 2009, Oddział Gdański PTETiS, Referat 17
• [15] Lorenzi P., Rao R., Romano G., Kita A., Irrera F., Mobile Devices for the Real-time detection of specific human motion disorders, IEEE Sensors Journal, vol, 16, no. 23, Dec.1, 2016, 8220-8227
• [16] He C., Kazanzides P., T.n Sen H., Kimand S., Liu Y., An Inertial and Optical Sensor Fusion Approach for Six Degree-of-Freedom Pose Estimation, Sensors 2015, 15(7), 16448-16465
• [17] Stąpor K., Automatyczna klasyfikacja obiektów, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005
• [18] Koronacki J., Ćwik J., Statystyczne systemy uczące się, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2015
• [19] Strona producenta DUO MLX: https://duo3d.com/

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017).