Using deep learning to recognize the sign alphabet

• Autorzy: Kołodziej Marcin , Szypuła Ernest , Majkowski Andrzej , Rak Remigiusz

Identyfikatory

DOI

10.15199/48.2022.06.06

Warianty tytułu

PL

Wykorzystanie uczenia głębokiego do rozpoznawania alfabetu migowego

• Języki publikacji: EN

Abstrakty

EN

This article describes a vision system that uses deep learning to recognize 24 static signs of the American Sign Alphabet in real time. As part of the project, images of signs from four publicly available databases were used as a training set. A DenseNet was implemented for image recognition. For testing, images were acquired with the use of a web camera. The accuracy of sign recognition in images is more than 80%. The real-time version of the system was implemented.

PL

Artykuł zawiera opis systemu wizyjnego wykorzystującego uczenie głębokie do rozpoznawania, w czasie rzeczywistym 24 statycznych znaków Amerykańskiego Alfabetu Migowego. W ramach realizacji projektu, w charakterze zbioru uczącego, wykorzystano obrazy znaków pochodzące z czterech ogólnodostępnych baz danych. Zastosowano sieć DenseNet do rozpoznawania obrazów. Do testów stworzono własne obrazy z wykorzystaniem kamery internetowej. Skuteczność rozpoznawania znaków migowych z wykorzystaniem obrazów przekroczyła 80%. Zaimplementowano wersję systemu pracującą w czasie rzeczywistym.

Słowa kluczowe

EN

deep learning; convolutional neural network; CNN; sign alphabet

PL

uczenie głębokie; sieć konwolucyjna; CNN; język migowy

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2022
• Tom: R. 98, nr 6
• Strony: 33--36
• Opis fizyczny: Bibliogr. 18 poz., fot., rys., tab.

Twórcy

autor

Kołodziej Marcin

• Warsaw University of Technology, pl. Politechniki 1, 00-661 Warszawa

• https://orcid.org/0000-0003-2856-7298

autor

Szypuła Ernest

• Warsaw University of Technology, pl. Politechniki 1, 00-661 Warszawa

autor

Majkowski Andrzej

• Warsaw University of Technology, pl. Politechniki 1, 00-661 Warszawa

• https://orcid.org/0000-0002-6557-836X

autor

Rak Remigiusz

• Warsaw University of Technology, pl. Politechniki 1, 00-661 Warszawa

• https://orcid.org/0000-0003-0674-453X

Bibliografia

• [1] „Deafness and hearing loss”. https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss (access: December 3, 2021).
• [2] V. Bheda i D. Radpour, „Using Deep Convolutional Networks for Gesture Recognition in American Sign Language”, ArXiv171006836 Cs, lis. 2017, access: December 3, 2021. [Online]. Dostępne na: http://arxiv.org/abs/1710.06836
• [3] R. Daroya, D. Peralta, i P. Naval, „Alphabet Sign Language Image Classification Using Deep Learning”, TENCON 2018 - 2018 IEEE Reg. 10 Conf., 2018, doi: 10.1109/TENCON.2018.8650241.
• [4] N. Pugeault i R. Bowden, „Spelling it Out: Real-Time ASL Fingerspelling Recognition”, lis. 2011. https://eprints.gla.ac.uk/219319/ (access: December 3, 2021).
• [5] B. Kang, S. Tripathi, i T. Q. Nguyen, „Real-time sign language fingerspelling recognition using convolutional neural networks from depth map”, 2015 3rd IAPR Asian Conf. Pattern Recognit. ACPR, 2015, doi: 10.1109/ACPR.2015.7486481.
• [6] T. Northall-Little, ASL-Gesture-Dataset. 2018. access: December 3, 2021. [Online]. Dostępne na: https://github.com/tomnlittle/ASL-Gesture-Dataset
• [7] „American Sign Language Alphabet (Static)”. https://kaggle.com/jordiviader/american-sign-language-alphabet-static (access: December 3, 2021).
• [8] „ASL Sign Language Alphabet Pictures [Minus J, Z]”. https://kaggle.com/signnteam/asl-sign-language-pictures-minus-j-z (access: December 3, 2021).
• [9] „ASL Alphabet”. https://kaggle.com/grassknoted/asl-alphabet(access: December 3, 2021).
• [10] W. S. Ahmed i A. amir A. Karim, „The Impact of Filter Sizeand Number of Filters on Classification Accuracy in CNN”, w 2020 International Conference on Computer Science and Software Engineering (CSASE), kwi. 2020, s. 88–93. doi: 10.1109/CSASE48920.2020.9142089.
• [11] S. Squartini, A. Hussain, i F. Piazza, „Attempting to reduce the vanishing gradient effect through a novel recurrent multiscale architecture”, w Proceedings of the International Joint Conference on Neural Networks, 2003., lip. 2003, t. 4, s. 2819–2824 t.4. doi: 10.1109/IJCNN.2003.1224018.
• [12] W. Luo i F. Yu, „Recurrent Highway Networks With Grouped Auxiliary Memory”, IEEE Access, t. 7, s. 182037–182049, 2019, doi: 10.1109/ACCESS.2019.2959655.
• [13] K. He, X. Zhang, S. Ren, i J. Sun, „Deep Residual Learningfor Image Recognition”, w 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), cze. 2016, s. 770–778. doi: 10.1109/CVPR.2016.90.
• [14] J. Gu, Z. Qu, X. Wang, J. Dan, i J. Sun, „Residual FractalNetwork for Single Image Super Resolution by Widening and Deepening”, w 2020 25th International Conference on Pattern Recognition (ICPR), sty. 2021, s. 1596–1603. doi: 10.1109/ICPR48806.2021.9412184.
• [15] A. Mikołajczyk i M. Grochowski, „Style transfer-based image synthesis as an efficient regularization technique in deep learning”, w 2019 24th International Conference on Methods and Models in Automation and Robotics (MMAR), sie. 2019, s. 42–47. doi: 10.1109/MMAR.2019.8864616.
• [16] J. Shen i M. O. Shafiq, „Deep Learning Convolutional Neural Networks with Dropout - A Parallel Approach”, w 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA), grudz. 2018, s. 572–577. doi: 10.1109/ICMLA.2018.00092.
• [17] Y. Kim, S. Kim, T. Kim, i C. Kim, „CNN-Based Semantic Segmentation Using Level Set Loss”, w 2019 IEEE Winter Conference on Applications of Computer Vision (WACV), sty. 2019, s. 1752–1760. doi: 10.1109/WACV.2019.00191.
• [18] B. Garcia, „Real-time American Sign Language Recognition with Convolutional Neural Networks”. https://www.semanticscholar.org/paper/Real-time-American-Sign-Language-Recognition-with-Garcia/07a152c14004082a393caa31a6052578570a8b95 (access: December 3, 2021).

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).