Impact of Image Preprocessing on Recognition of Letters of Sign Language

• Autorzy: Abramowicz P. , Topczewska M.

Identyfikatory

DOI

10.24427/acsr-2018-vol14-0001

Warianty tytułu

PL

Wpływ przetwarzania wstępnego obrazów na rozpoznawanie znaków alfabetu migowego

• Języki publikacji: EN

Abstrakty

EN

The article concerns the problem of the selected sign language letters in the form of images classification. The impact of the image preprocessing methods as adaptive thresholding or edge detection is tested. In addition, the influence of the found shapes filling is checked, as well as centering the hands on the images. The following classification methods were chosen: SVM classifier with linear kernel function, Naive Bayes and Random Forests. The accuracy, F-measure, the AUC, MAE and Kappa coefficient were reported as measures of classification quality.

PL

Artykuł dotyczy klasyfikacji wybranych liter alfabetu migowego w postaci obrazów. Badany jest wpływ na wyniki kilku metod przetwarzania wstępnego obrazów, w tym progowania adaptacyjnego oraz detekcji krawędzi. Dodatkowo sprawdzane jest wypełnianie znalezionych kształtów, a także centrowanie dłoni na obrazach. Jako metody klasyfikacji wybrane zostały: klasyfikator SVM z liniową funkcją jądrową, klasyfikator Naive Bayes oraz Random Forest. Jako miary jakości klasyfikacji raportowane są jakość klasyfikacji, miara F, pole pod krzywą ROC oraz współczynnik Kappa.

Słowa kluczowe

EN

image preprocessing; sign language; classification

PL

przetwarzanie wstępne; alfabet migowy; klasyfikacja

• Wydawca: Oficyna Wydawnicza Politechniki Białostockiej
• Czasopismo: Advances in Computer Science Research
• Rocznik: 2018
• Tom: Nr 14
• Strony: 5--16
• Opis fizyczny: Bibliogr. 20 poz., rys., tab.

Twórcy

autor

Abramowicz P.

• Faculty of Computer Science, Bialystok University of Technology, Białystok, Poland

autor

Topczewska M.

• Faculty of Computer Science, Bialystok University of Technology, Białystok, Poland

Bibliografia

• [1] Abeel T., P.Y.V., Saeys Y.: Java-ML: A Machine Learning Library, Journal of Machine Learning Research, 2009.
• [2] Alzohairi R., Alghonaim R., Alshehri W. and Aloqeely S.: Image based Arabic Sign Language Recognition System. International Journal of Advanced Computer Science and Applications (IJACSA), 9(3), 2018.
• [3] Canny J.: A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986.
• [4] Davies E. R.: Computer and Machine Vision: Theory, Algorithms and Practicalities, Academic Press, Waltham 1990, pp. 82-94.
• [5] Główny Urz ˛ad Statystyczny, Departament Badan Społecznych: Stan zdrowia ´ ludnosci Polski w 2009 r., Zakład Wydawnictw Statystycznych, Warszawa, ´ 2011.
• [6] Gonzalez R. C., Woods R. E. Digital Image Processing, Addison-Wesley Publishing Company, New Jersey 1992, pp. 595-602.
• [7] Imagawa K., Lu S., and Igi S.: Color-based hands tracking system for sign language recognition. In Proc.: Third IEEE Intl. Conference on Automatic Face and Gesture Recognition, pp. 462–467, April 14-16, 1998.
• [8] Java Machine Learning Library (Java-ML): [http://java-ml. sourceforge.net]
• [9] Sung Kwan Kang, Mi Young Nam, Phill Kyu Rhee: Color Based Hand and Finger Detection Technology for User Interaction In Proc.: Intl. Conference on Convergence and Hybrid Information Technology, 2008. ICHIT ’08.
• [10] Kumar M., Saxena R.: Algorithm and technique on various edge detection: a survey, Signal & Image Processing: An Intl. Journal, vol. 4, no. 3, June 2013.
• [11] S. Marcel: Hand Posture and Gesture Datasets, [http://www.idiap.ch/ resource/gestures]
• [12] Program Powszechnych Przesiewowych Badan Słuchu u Noworodków: ´ [http: //www.sluch.ump.edu.pl], [https://www.wosp.org.pl/medycyna/ programy/badania-sluchu]
• [13] Ravikiran J., Mahesh K., Mahishi S., Dheeraj R., Sudheender S., Pujari N.V.: Finger Detection for Sign Language Recognition. Proceedings of the International MultiConference of Engineers and Computer Scientists 2009, Vol. I, IMECS 2009, Hong Kong, March 18-20, 2009.
• [14] Rivera-Acosta M., Ortega-Cisneros S., Rivera J., Sandoval-Ibarra F.: American Sign Language Alphabet Recognition Using a Neuromorphic Sensor and an Artificial Neural Network. Sensors (Basel). 2017 Oct; 17(10): 2176.
• [15] Sanduja V., Patial R.: Sobel Edge Detection using Parallel Architecture based on FPGA, International Journal of Applied Information Systems, vol. 3, no. 4, July 2012.
• [16] Silanon K.: Thai Finger-Spelling Recognition Using a Cascaded Classifier Based on Histogram of Orientation Gradient Features. Computational Intelligence and Neuroscience. 2017: 9026375 (PMC5611514).
• [17] Starner T. and Pentland A.: Real-time American Sign Language recognition from video using hidden Markov models. In Proc.of International Symposium on Computer Vision, pp. 265–270, 21-23 Nov. 1995.
• [18] Swidzi ´ nski M. i in.: Sytuacja osób głuchych w Polsce. Raport zespołu ds. ´ głuchych przy Rzeczniku Praw Obywatelskich. Biuro Rzecznika Praw Obywatelskich, Warszawa, 2014.
• [19] Vernon D.: Machine Vision, Prentice-Hall, 1991.
• [20] Weka 3: Data Mining Software in Java, [https://www.cs.waikato.ac.nz/ ml/weka/]

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).