Acquisition of multimodal data corpus for automatic sign language processing

• Autorzy: Gałka J. , Węgrzynowicz P. , Mąsior M.

Warianty tytułu

PL

Rejestracja multimodalnego korpusu danych dla automatycznego przetwarzania języka migowego

• Języki publikacji: EN

Abstrakty

EN

This paper presents the creation of a Polish Sign Language corpus suitable for recognition research and automatic translation of sign language. The recording approach used and the captured data modalities are presented, as well as the description of the acquisition system implementation. The evaluation of the collected corpus is presented and compared to other available resources.

PL

Artykuł prezentuje utworzenie korpusu nagrań gestów Polskiego Języka Migowego na potrzeby badań możliwości rozpoznawania i automatycznego tłumaczenia języka migowego. Zaprezentowano podejście i metodykę tworzenia bazy nagrań oraz opisano implementację systemu akwizycji. Przedstawiono także ewaluację zebranych danych pod kątem rozpoznawania gestów języka migowego oraz po-równano z innymi, dostępnymi zasobami.

Słowa kluczowe

EN

sign language recognition; data analysis; data collection; image processing

PL

rozpoznawanie języka migowego; analiza danych; gromadzenie danych; przetwarzanie obrazów

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2016
• Tom: Vol. 37, nr 1
• Strony: 19--31
• Opis fizyczny: Bibliogr. 12 poz.

Twórcy

autor

Gałka J.

• AGH University of Science and Technology, al. Mickiewicza 30, 30-059 Kraków, Poland

autor

Węgrzynowicz P.

• AGH University of Science and Technology, al. Mickiewicza 30, 30-059 Kraków, Poland

autor

Mąsior M.

• AGH University of Science and Technology, al. Mickiewicza 30, 30-059 Kraków, Poland

Bibliografia

• 1. World Federation of the Deaf: Sign Language. Available at: http://wfdeaf.org/human-rights/crpd/sign-language (accessed 26 January 2016).
• 2. Stokoe W.C.: Sign Language Structure: An Outline of the Visual Communication Sys-tem of the American Deaf. J. Deaf Stud. Deaf Educ.. Vol. 10(1), 1960, p. 3÷37.
• 3. Vogler C., Metaxas D.: A Framework for Recognizing the Simultaneous Aspects of American Sign Language. Computer Vision and Image Understanding, Vol. 81, No. 3, 2001, p. 358÷384.
• 4. Theodorakis S., Pitsikalis V., Maragos, P.: Dynamic–static unsupervised sequentiality, statistical subunits and lexicon for sign language recognition. Image and Vision Com-puting, Vol. 32, No. 8, 2014, p. 533÷549.
• 5. Von Agris U., Zieren J., Canzler U., Bauer B., Kraiss K.-F.: Recent developments in visual sign language recognition. Universal Access in the Information Society, Vol. 6, No. 4, 2008, p. 323÷362.
• 6. Kadous M.W.: Temporal Classification: Extending the Classification Paradigm to Mul-tivariate Time Series. PhD dissertation, School of Computer Science and Engineering, Univ. of New South Wales, Australia 2002.
• 7. Lichman M.: UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Univer-sity of California, School of Information and Computer Science, Irvine, CA 2013.
• 8. Escalera S. et al.: Multi-modal Gesture Recognition Challenge 2013: Dataset and Re-sults. ICMI, 2013.
• 9. Horn B.K.B., Schunck B.G.: Determining optical flow. Artificial Intelligence, Vol. 17, 1981, p. 185÷203.
• 10. Barczewska K.: The Automatic Recognition of Isolated Sign Language Signs Based on Gesture Components and DTW Algorithm. Challenges of Modern Technology, Vol. 5, No. 3, 2014, p. 1÷8.
• 11. Tsai D.M., Chiu W.Y., Lee M.H.: Optical flow-motion history image for action recog-nition. Signal, Image and Video Processing, Vol. 9, No. 8, 2014, p. 1897÷1906.
• 12. Yeo H.S., Lee B.G., Lim H.: Hand Tracking and Gesture Recognition System for Hu-man-Computer Interaction Using Low-Cost Hardware. Journal of Multimedia Tools and Applications, Vol. 74, No. 8, 2013, p. 2687÷2715.

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.