Rozpoznawanie symboli języka migowego z wykorzystaniem algorytmów cyfrowego przetwarzania obrazów

• Autorzy: Fogiel A. , Tkacz J.

Warianty tytułu

EN

Realtime sign language recognizing using digital video processing algorithms

• Języki publikacji: PL

Abstrakty

PL

W artykule został opisany proces projektowania i realizacji aplikacji, przeznaczonej do analizy, w czasie rzeczywistym, obrazów cyfrowych zawierających symbole języka migowego. Stworzone oprogramowanie zostało napisane w języku C++. Wykorzystuje ono bibliotekę OpenCV w połączeniu z sensorem Microsoft Kinect. Oprogramowanie przetwarza około 15 klatek obrazu w ciągu sekundy i rozpoznaje gesty ze skutecznością 71% . Opracowane oprogramowanie jest odporne w znacznym stopniu na wpływ warunków oświetleniowych.

EN

The paper describes the implementation process of application that recognizes sign language symbols which are presented by a user in real time. The first part of this paper presents software and libraries used by this program. It also contains description of a Microsoft Kinect sensor with explanation of its operation. The second part of this paper is dedicated to KinectSL application. It presents the structure of the application, its algorithm and a study that led to the described method of recognizing sign language gestures. Section 5 deals with main problems that appeared while working on the project such as detecting writs and fingers. Subsection 5.4 contains the detailed explanation of parameters that are passed to a KNN classifier and formulas necessary to compute them. The presented application is multi-platform and can be run on Windows, Linux and MacOS operating systems. This software is able to recognize gestures for two hand at once that allows it to support advanced gestures. The tests carried out showed that KinectSL processed 15 frames per second and its performance of gestures recognizing was above 71 percent. The described system is a good basis to create a program that will be able to fluent translate sign language. It can also be used in industry and entertainment to control processes with user gestures.

Słowa kluczowe

PL

Microsoft Kinect; OpenCV; OpenNI; język migowy

EN

Microsoft Kinect; OpenCV; OpenNI; sign language

• Wydawca: Wydawnictwo PAK
• Czasopismo: Pomiary Automatyka Kontrola
• Rocznik: 2013
• Tom: R. 59, nr 11
• Strony: 1167--1170
• Opis fizyczny: Bibl. 15 poz., rys., tab., wzory

Twórcy

autor

Fogiel A.

• Uniwersytet Zielonogórski, Wydział Elektrotechniki, Informatyki i Telekomunikacji, Instytut Informatyki i Elektroniki, ul. Podgórna 50, 65-246 Zielona Góra

autor

Tkacz J.

• Uniwersytet Zielonogórski, Wydział Elektrotechniki, Informatyki i Telekomunikacji, Instytut Informatyki i Elektroniki, ul. Podgórna 50, 65-246 Zielona Góra

Bibliografia

• [1] Morteza Zahedi, Philippe Dreuw, David Rybach, Thomas Deselaers, Hermann Ney: Geometric Features for Improving Continuous Appearance-based Sign Language Recognition http://goo.gl/DpPKyh
• [2] Zahedi M.: Robust Appearance-based Sign Language Recognition http://goo.gl/xN80nh
• [3] Gary Bradski, Adrian Kaehler: Learning OpenCV Computer Vision with the OpenCV Library, O’Reilly 2008.
• [4] Robert Laganière: OpenCV 2 Computer Vision Application Programming Cookbook, Packt Publishing, 2011.
• [5] Rafajkowicz Ewaryst, Rafajłowicz Wojciech, Rusiecki Andrzej: Algorytmy przetwarzania obrazów i wstęp do pracy z biblioteką OpenCV; Oficyna Wydawnicza Politechniki Wrocławskiej, 2009.
• [6] Greg Borenstein, Making Things See: 3D vision with Kinect, Processing, Arduino, and MakerBot, Maker Media, Inc; 2012.
• [7] Oliveira V. A., Conci A.: Skin Detection using HSV color space, http://goo.gl/acNcE5
• [8] Michael Van den Bergh, Luc Van Gool: Combining RGB and ToF Cameras for Real-time 3D Hand Gesture Interaction http://goo.gl/NNNo6S
• [9] Olgierd Kosiba, Piotr Grenda: Leksykon języka migowego, Silentium 2011.
• [10] Richard Szeliski: Computer Vision, Springer 2011.
• [11] Ryszard Tadeusiewicz, Przemysław Korohoda: Komputerowa analiza i przetwarzanie obrazów; Społeczeństwo Globalnej Informacji, Kraków 1997.
• [12] Johannes Kilian: Simple Image Analysis By Moments, http:// goo.gl/DUiiH1
• [13] Asbjørn Berge: Describing “shape” (feature extraction); http:// goo.gl/KqObhq
• [14] Marcin Kiełczewski: Reprezentacja i analiza obszarów http://goo.gl/PtT8tO
• [15] Chris Kiefer, Nick Collins, Geraldine Fitzpatrick, Phalanger: Controlling Music Software With Hand Movement Using A Computer Vision and Machine Learning Approach http://goo.gl/pUYfVK