System wspomagający rozpoznawanie znaków języka migowego oparty na sztucznej sieci neuronowej

• Autorzy: Lewandowski P. , Półtorak M. , Wagner M. , Pochmara J. , Rybarczyk A.

Identyfikatory

DOI

10.21008/j.1897-0737.2017.91.0015

Warianty tytułu

EN

Signs recognition system based on artificial neural network

• Konferencja: Computer Applications in Electrical Engineering (10-11.04.2017 ; Poznań, Polska)
• Języki publikacji: PL

Abstrakty

PL

W niniejszym artykule zaproponowano realizację systemu wspomagajacego rozpoznawanie statycznych znaków języka migowego. Na potrzeby rozwiązania skorzystano z sensora Microsoft Kinect XBOX 360, przygotowano oprogramowanie umożliwiające translację znaków dla osób nie znających tego języka, oparte na sztucznej inteligencji, przetworzono otrzymane informacje oraz utworzono zbiór danych pozwalający na ich poprawną klasyfikację. Istotnym faktem jest również wybranie najbardziej optymalnego rozwiązania, zarówno pod względem możliwości wydajnościowych przeciętnego komputera osobistego jak i efektywności działania systemu.

EN

In following work there is suggested a solution to recognise certain static characters from sign language. To achieve the objective, there were used tools like Microsoft Kinect and convolutional neural networks. Main problems to overcome were to collect data from Kinect sensor and prepare software based on artificial intelligence, which could process gathered material. For learning purposes around four thousand images were collected. Dataset this large was required for neural networks to work and respond properly. What is also important is to select the most optimal solution for neural networks. The influence of dropout parameter on learning process was studied too.

Słowa kluczowe

PL

Microsoft Kinect; sztuczne sieci neuronowe; theano; sieci konwolucyjne; detekcja obrazu

• Wydawca: Wydawnictwo Politechniki Poznańskiej
• Czasopismo: Poznan University of Technology Academic Journals. Electrical Engineering
• Rocznik: 2017
• Tom: No. 91
• Strony: 155--164
• Opis fizyczny: Bibliogr. 8 poz., rys., tab.

Twórcy

autor

Lewandowski P.

• Politechnika Poznańska

autor

Półtorak M.

• Politechnika Poznańska

autor

Wagner M.

• Politechnika Poznańska

autor

Pochmara J.

• Politechnika Poznańska

autor

Rybarczyk A.

• Politechnika Poznańska

Bibliografia

• [1] Yoshua Bengio, Geoffrey Hinton Yann LeCun, "Deep learning”, Nature, vol. 52, p. 28, Maj 2005.
• [2] (2016, Grudzień) Devblog NVIDIA. [Online]. HYPERLINK https://devblogs.nvidia.com/parallelforall/deep–learning–nutshell–core–concepts/ https://devblogs.nvidia.com/parallelforall/deep–learning–nutshell–core–concepts/.
• [3] (2016, Czerwiec) Theano. [Online]. HYPERLINK http://deeplearning.net/software/theano/index.html http://deeplearning.net/software/theano/index.html.
• [4] Benjamin Graham, "Fractional Max–Pooling," University of Warwick, Warwick, Wielka Brytania, Maj 2015. [Online]. HYPERLINK https://arxiv.org/pdf/1412.6071v4.pdf https://arxiv.org/pdf/1412.6071v4.pdf.
• [5] Geoffrey E. Hinton Vinod Nair, "Rectified Linear Units Improve Restricted Boltzmann Machines," University of Toronto, Toronto, 2010.
• [6] G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov, N. Srivasta, "Dropout – A Simple Way To Prevent Neural Networks from Overfitting," CS Toronto, Toronto, 2014.
• [7] Geoffrey Hinton. Overview of mini–batch gradient descent. Presentation.
• [8] Sebastian Ruder, "An overview of gradient descent optimization," Insight Centre for Data Analytics, Dublin, 2016.

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017).