PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
Tytuł artykułu

Rozpoznawanie symboli języka migowego z wykorzystaniem algorytmów cyfrowego przetwarzania obrazów

Autorzy
Treść / Zawartość
Identyfikatory
Warianty tytułu
EN
Realtime sign language recognizing using digital video processing algorithms
Języki publikacji
PL
Abstrakty
PL
W artykule został opisany proces projektowania i realizacji aplikacji, przeznaczonej do analizy, w czasie rzeczywistym, obrazów cyfrowych zawierających symbole języka migowego. Stworzone oprogramowanie zostało napisane w języku C++. Wykorzystuje ono bibliotekę OpenCV w połączeniu z sensorem Microsoft Kinect. Oprogramowanie przetwarza około 15 klatek obrazu w ciągu sekundy i rozpoznaje gesty ze skutecznością 71% . Opracowane oprogramowanie jest odporne w znacznym stopniu na wpływ warunków oświetleniowych.
EN
The paper describes the implementation process of application that recognizes sign language symbols which are presented by a user in real time. The first part of this paper presents software and libraries used by this program. It also contains description of a Microsoft Kinect sensor with explanation of its operation. The second part of this paper is dedicated to KinectSL application. It presents the structure of the application, its algorithm and a study that led to the described method of recognizing sign language gestures. Section 5 deals with main problems that appeared while working on the project such as detecting writs and fingers. Subsection 5.4 contains the detailed explanation of parameters that are passed to a KNN classifier and formulas necessary to compute them. The presented application is multi-platform and can be run on Windows, Linux and MacOS operating systems. This software is able to recognize gestures for two hand at once that allows it to support advanced gestures. The tests carried out showed that KinectSL processed 15 frames per second and its performance of gestures recognizing was above 71 percent. The described system is a good basis to create a program that will be able to fluent translate sign language. It can also be used in industry and entertainment to control processes with user gestures.
Słowa kluczowe
Wydawca
Rocznik
Strony
1167--1170
Opis fizyczny
Bibl. 15 poz., rys., tab., wzory
Twórcy
autor
  • Uniwersytet Zielonogórski, Wydział Elektrotechniki, Informatyki i Telekomunikacji, Instytut Informatyki i Elektroniki, ul. Podgórna 50, 65-246 Zielona Góra
autor
  • Uniwersytet Zielonogórski, Wydział Elektrotechniki, Informatyki i Telekomunikacji, Instytut Informatyki i Elektroniki, ul. Podgórna 50, 65-246 Zielona Góra
Bibliografia
  • [1] Morteza Zahedi, Philippe Dreuw, David Rybach, Thomas Deselaers, Hermann Ney: Geometric Features for Improving Continuous Appearance-based Sign Language Recognition http://goo.gl/DpPKyh
  • [2] Zahedi M.: Robust Appearance-based Sign Language Recognition http://goo.gl/xN80nh
  • [3] Gary Bradski, Adrian Kaehler: Learning OpenCV Computer Vision with the OpenCV Library, O’Reilly 2008.
  • [4] Robert Laganière: OpenCV 2 Computer Vision Application Programming Cookbook, Packt Publishing, 2011.
  • [5] Rafajkowicz Ewaryst, Rafajłowicz Wojciech, Rusiecki Andrzej: Algorytmy przetwarzania obrazów i wstęp do pracy z biblioteką OpenCV; Oficyna Wydawnicza Politechniki Wrocławskiej, 2009.
  • [6] Greg Borenstein, Making Things See: 3D vision with Kinect, Processing, Arduino, and MakerBot, Maker Media, Inc; 2012.
  • [7] Oliveira V. A., Conci A.: Skin Detection using HSV color space, http://goo.gl/acNcE5
  • [8] Michael Van den Bergh, Luc Van Gool: Combining RGB and ToF Cameras for Real-time 3D Hand Gesture Interaction http://goo.gl/NNNo6S
  • [9] Olgierd Kosiba, Piotr Grenda: Leksykon języka migowego, Silentium 2011.
  • [10] Richard Szeliski: Computer Vision, Springer 2011.
  • [11] Ryszard Tadeusiewicz, Przemysław Korohoda: Komputerowa analiza i przetwarzanie obrazów; Społeczeństwo Globalnej Informacji, Kraków 1997.
  • [12] Johannes Kilian: Simple Image Analysis By Moments, http:// goo.gl/DUiiH1
  • [13] Asbjørn Berge: Describing “shape” (feature extraction); http:// goo.gl/KqObhq
  • [14] Marcin Kiełczewski: Reprezentacja i analiza obszarów http://goo.gl/PtT8tO
  • [15] Chris Kiefer, Nick Collins, Geraldine Fitzpatrick, Phalanger: Controlling Music Software With Hand Movement Using A Computer Vision and Machine Learning Approach http://goo.gl/pUYfVK
Typ dokumentu
Bibliografia
Identyfikator YADDA
bwmeta1.element.baztech-c71aa03a-2fae-41a1-ae12-2d26979e5103
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.