The comparison of efficacy the gestures recognition algorithms based on RGB and RGB-D cameras for intuitive smart home control

Ambroziak, A.; Rodak, M.; Chojecki, A.; Borkowski, P.

doi:10.32016/1.61.01

Artykuł - szczegóły

Tytuł artykułu

The comparison of efficacy the gestures recognition algorithms based on RGB and RGB-D cameras for intuitive smart home control

Autorzy

Ambroziak A. , Rodak M. , Chojecki A. , Borkowski P.

Treść / Zawartość

Pełne teksty:

Pobierz

Identyfikatory

DOI

10.32016/1.61.01

Warianty tytułu

Porównanie skuteczności algorytmów rozpoznawania gestów opartych na kamerach RGB i RGB-D do intuicyjnego sterowania inteligentnym budynkiem

Języki publikacji

Abstrakty

This paper presents a comparison of the authors’ presence detection and gesture interpretation algorithm for a RGB camera with a commercial algorithm for a RGB-D camera for smart home control. The author’s presence detection algorithm is based on MOG2 algorithm employed for background learning and mathematical conversions for identification of position of an arm. The latter algorithm employs a depth camera to take pictures at which a human skeleton is overlaid and thus position of an arm in three-dimensional space is identified. The author’s algorithm enables to achieve better efficacy of gesture recognition (statistically of around 20%) employing less hardware resources at the same time. This makes it perfect for smart home automation control applications especially for people with disabilities.

Artykuł prezentuje porównanie autorskiego algorytmu wykrywania gestu dla kamery RGB z algorytmem komercyjnym dla kamery RGB–D, na potrzeby sterowania inteligentnym budynkiem. Autorski algorytm oparty jest na algorytmie MOG2, wykorzystywanym do uczenia tła oraz w matematycznych przekształceniach w celu wykrycia pozycji ramienia. Na tej podstawie określany jest wektor wyznaczane przez rękę wskazującą na dany obiekt. Wskazywany element jest porównywany z bazą obiektów, następnie wykonywana jest związana z nim interakcja. Porównywany był on z komercyjnym algorytmem wykorzystującym kamerę głębi, która nakładała szkielet człowieka na obraz i pozycjonowała ramię w przestrzeni trójwymiarowej. Opracowany algorytm pozwala na osiągnięcie wymiernie lepszych wyników w skuteczności rozpoznawania (o ok. 20% w ujęciu statystycznym) w stosunku do komercyjnego algorytmu, przy mniejszym wykorzystaniu zasobów sprzętowych. Pozwala to na zastosowanie algorytmu w istniejących oraz nowo powstałych budynkach mieszkalnych, wykorzystując do jego implementacji mikrokomputery.

Słowa kluczowe

identification for control smart home control supervisory control gesture control RGB camera

sterowanie inteligentnym budynkiem sterowanie gestem rozpoznawanie gestów kamera RGB

Wydawca

Wydział Elektrotechniki i Automatyki Politechniki Gdańskiej

Czasopismo

Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej

Rocznik

2018

Tom

Nr 61

Strony

9--14

Opis fizyczny

Bibliogr. 19 poz., rys., wykr.

Twórcy

autor

Ambroziak A.

arkadiusz.ambroziak@p.lodz.pl

Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki tel.: 42 631 26 63

autor

Rodak M.

Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki tel.: 42 631 26 63

autor

Chojecki A.

Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki tel.: 42 631 26 63

autor

Borkowski P.

Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki tel.: 42 631 26 63

Bibliografia

1. Jaijongrak V., Chantasuban S., Thiemjarus S.: Towards a BSN-based gesture interface for intelligent home applications, ICCAS-SICE, Fukuoka, Japan, pp. 5613-5617, 2009.
2. Jingqiu W., Ting Z.: An ARM-based embedded gesture recognition system using a data glove, The 26th Chinese Control and Decision Conference, Changsha, China, pp. 1580–1584, 2014.
3. Kim D., Kim D.: An Intelligent Smart Home Control Using Body Gestures, International Conference on Hybrid Information Technology, Cheju Island, South Korea, pp. 439-446, 2006.
4. Wan Q., Li Y., Li C., Pal R.: Gesture recognition for smart home applications using portable radar sensors, 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Chicago, USA, pp. 6414-6417, 2014.
5. Kivimäki T., Vuorela T., Valtonen M., Vanhala J.: Gesture Control System for Smart Environments, 9th International Conference on Intelligent Environments, Athens, Greece, pp. 232—235, 2013.
6. Gonzalo P.J., Holgado-Terriza Juan A.: Control of home devices based on hand gestures, IEEE 5th International Conference on Consumer Electronics, Berlin, Germany, pp. 510-514, 2015.
7. Huang W., Jiang T., Liu Y., Liu W.: Applications of software radio for hand gesture recognition by using long training symbols, 9th International Conference on Signal Processing and Communication Systems, Cairns, Australia, pp. 1-5, 2015.
8. Liu T., Luo X. M., Liu J., Cui H.: Compressive Infrared Sensing for Arm Gesture Acquisition and Recognition, IEEE International Conference on Information and Automation, Lijiang, China pp. 1882-1886, 2015.
9. Batool A., Rauf S., Zia T., Siddiqui T., Shamsi J.A., Syed T.Q., Khan A.U.: Facilitating gesture-based actions for a Smart Home concept, International Conference on Open Source Systems and Technologies, Lahore, Pakistan, pp. 6-12, 2014.
10. Hung C.H., Bai Y.W., Wu H.Y.: Home outlet and LED array lamp controlled by a smartphone with a hand gesture recognition, IEEE International Conference on Consumer Electronics, Las Vegas, USA, pp. 5-6, 2016
11. Huang C.M., Chen Y.R., Fu L.C.: Visual Tracking of Human Head and Arms Using Adaptive Multiple Importance Sampling on a Single Camera in Cluttered e Wydziału Elektrotechniki i Automatyki PG, ISSN 2353-1290, Nr 61/2018 13 Environments, IEEE Sensors Journal, vol. 14, no. 7, pp. 2267-2275, 2014.
12. Juang C.F., Liang C.W., Lee C.L., Chung I.F.: Visionbased Human Body Posture Recognition Using Support Vector Machines, 4th International Conference on Awareness Science and Technology, Seoul, South Korea, pp. 150 – 155, 2012.
13. Chien C.Y., Huang C.L., Fu C.M.: A Vision-Based Real-Time Pointing Arm Gesture Tracking and Recognition System, IEEE International Conference on Multimedia and Expo, Beijing, China, pp. 983-986, 2007.
14. Ransalu S., Kumarawadu S.: A robust vision-based hand gesture recognition system for appliance control in smart homes, IEEE International Conference on Signal Processing, Communication and Computing, Hong Kong, China, pp. 760-763, 2012.
15. Wang R., Yu Z., Liu M., Wang Y., Chang Y.: Real-time visual static hand gesture recognition system and its FPGA-based hardware implementation, 12th International Conference on Signal Processing, Hangzhou, China, pp. 434-439, 2014.
16. Patras L., Giosan I., Nedevschi S.: Body gesture validation using multi-dimensional dynamic time warping on Kinect data, IEEE International Conference on Intelligent Computer Communication and Processing, Cluj-Napoca, Romania, pp. 301–307, 2015.
17. Zivkovic Z.: Improved adaptive Gausian mixture model for background subtraction, Proceedings of the 17th International Conference on Pattern Recognition, Cambridge, UK, vol. 2, pp. 28-31, 2004.
18. Borkowski P., Pawłowski M., Makowiecki T.: Economical Aspects of Building Management Systems Implementation, IEEE Trondheim PowerTech, Trondheim, Norway, pp. 1-6, 2011.
19. Tharwat A.: Classification assessment methods, 2018, https://doi.org/10.1016/j.aci.2018.08.003.

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-9ca254b9-5bc4-482f-bcf0-f96c5e95fa18