Сross platform tools for modeling and recognition of the fingerspelling alphabet of gesture language

• Autorzy: Kondratiuk Serhii S. , Krak Iurii V. , Wójcik Waldemar

Identyfikatory

DOI

10.5604/01.3001.0013.2542

Warianty tytułu

PL

Сross-platformowe narzędzia do modelowania i rozpoznawania alfabetu palcowego języka gestów

• Języki publikacji: EN

Abstrakty

EN

A solution for the problems of the finger spelling alphabet of gesture language modelling and recognition based on cross-platform technologies is proposed. Modelling and recognition performance can be flexible and adjusted, based on the hardware it operates or based on the availability of an internet connection. The proposed approach tunes the complexity of the 3D hand model based on the CPU type, amount of available memory and internet connection speed. Sign recognition is also performed using cross-platform technologies and the tradeoff in model size and performance can be adjusted. the methods of convolutional neural networks are used as tools for gestures of alphabet recognition. For the gesture recognition experiment, a dataset of 50,000 images was collected, with 50 different hands recorded, with almost 1,000 images per each person. The experimental researches demonstrated the effectiveness of proposed approaches.

PL

Zaproponowano rozwiązanie problemów z alfabetem daktylograficznym w modelowaniu języka gestów i rozpoznawaniu znaków w oparciu o technologie wieloplatformowe. Wydajność modelowania i rozpoznawania może być elastyczna i dostosowana, w zależności od wykorzystywanego sprzętu lub dostępności łącza internetowego. Proponowane podejście dostosowuje złożoność modelu 3D dłoni w zależności od typu procesora, ilości dostępnej pamięci i szybkości połączenia internetowego. Rozpoznawanie znaków odbywa się również z wykorzystaniem technologii międzyplatformowych, a kompromis w zakresie wielkości modelu i wydajności może być dostosowany. Jako narzędzia do rozpoznawania gestów alfabetu wykorzystywane są metody konwolucyjnych sieci neuronowych. Na potrzeby eksperymentu rozpoznawania gestów zebrano zbiór danych obejmujący 50 000 obrazów, przy czym zarejestrowano 50 różnych rąk, a na każdą osobę przypadało prawie 1000 obrazów. Badania eksperymentalne wykazały skuteczność proponowanego podejścia.

Słowa kluczowe

EN

cross-platform; sign language; fingerspelling alphabet; 3D modelling; convolutional neural networks

PL

cross-platform; język migowy; alfabet palcowy; modelowanie 3D; konwolucyjna sieć neuronowa

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2019
• Tom: T. 9, nr 2
• Strony: 24--27
• Opis fizyczny: Bibliogr. 19 poz., rys., tab.

Twórcy

autor

Kondratiuk Serhii S.

• Taras Shevchenko National University of Kyiv

autor

Krak Iurii V.

• Taras Shevchenko National University of Kyiv
• Glushkov Institute of Cybernetics of NAS of Ukraine

autor

Wójcik Waldemar

• Lublin University of Technology

Bibliografia

• [1] Apple Touchless Gesture System for iDevices http://www.patentlyapple.com/patently-apple/2014/12/apple-invents-a-highly-advanced-air-gesturing-system-for-future-idevices-and-beyond.html (available 15.05.2019).
• [2] ASL Sign language dictionary http://www.signasl.org/sign/model (available 15.05.2019).
• [3] Howard A.G., Wang W.: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications https://arxiv.org/pdf/1704.04861.pdf (available 15.05.2019).
• [4] Khan R.Z., Ibraheem N.A., Meghanathan N., et al.: Comparative study of hand gesture recognition system. SIPM, FCST, ITCA, WSE, ACSIT, CS & IT 06/2012, 203–213.
• [5] Krak I., Kondratiuk S.: Cross-platform software for the development of sign communication system: Dactyl language modelling, Proceedings of the 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies, CSIT 1/2017, 167–170 [DOI: 10.1109/STC-CSIT.2017.8098760].
• [6] Krizhevsky I. Sutskever, Hinton G.E.: Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems 2012, 1097–1105.
• [7] Kryvonos I.G., Krak I.V., Barchukova Y., Trotsenko B.A.: Human hand motion parametrization for dactylemes modeling. Journal of Automation and Information Sciences 43(12)/2011, 1–11.
• [8] Kryvonos I.G., Krak I.V., Barmak O.V., Shkilniuk D.V.: Construction and identification of elements of sign communication. Cybernetics and Systems Analysis 49(2)/2013, 163–172.
• [9] Kryvonos I.G., Krak I.V.: Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information. Cybernetics and Systems Analysis 47(4)/2011, 501–505.
• [10] Mell P., Grance T.: The NIST Definition of Cloud Computing (Technical report). National Institute of Standards and Technology: U.S. Department of Commerce, 2011 [DOI:10.6028/NIST.SP.800-145].
• [11] Neff M., Kipp M., Albrecht I., Seidel H.P.: Gesture Modeling and Animation by Imitation. MPI–I 4/2006.
• [12] Ong E.I., et al. : Sign language recognition using sequential pattern trees. Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012, 2200–2207.
• [13] Raheja J.: Android based portable hand sign recognition system. 2015 [DOI: 10.15579/gcsr.vol3.ch1].
• [14] Shapiro A., Chu D., Allen B., Faloutsos P.: Dynamic Controller Toolkit, 2005 http://www.arishapiro.com/Sandbox07_DynamicToolkit.pdf (available 15.05.2019).
• [15] Smith J., Navi R.: The Architecture of Virtual Machines. Computer. IEEE Computer Society 38(5)/2005, 32–38.
• [16] Tensorflow framework documentation https://www.tensorflow.org/api/ (available 15.05.2019).
• [17] The Linux Information Project, Cross-platform Definition.
• [18] Unity3D framework https://unity3d.com/ (available 15.05.2019).
• [19] YAML – The Official YAML Web Site http://yaml.org/ (available 15.05.2019).

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2020).