W artykule przedstawiono system sterowania gestem opartego na czujniku Microsoft Kinect. Omówiono najpopularniejsze środowiska umożliwiające realizację systemu zintegrowanego, wykorzystującego różnorodny sprzęt i oprogramowanie. Przygotowano algorytm bezdotykowego sterowania manipulatorem. Przedstawiono wyniki eksperymentów, przeprowadzonych w celu określenia dokładności i dobrania optymalnej metody sterowania.
EN
The article presents a gesture control system based on the Microsoft Kinect sensor. The most popular environments for implementation of the system realization using a variety of equipment and software are discussed. The prepared algorithm for non-contact control of the manipulator is presented. The paper discusses the results of experiments conducted to determine the accuracy of the control and the optimal control method.
A computer vision system is described that captures color image sequences, detects and recognizes static hand poses (i.e., 'letters') and interprets pose sequences in terms of gestures (i.e., 'words'). The hand object is detected with a double-active contour-based method. A tracking of the hand pose in a short sequence allows detecting 'modified poses', like diacritic letters in national alphabets. The static hand pose set corresponds to hand signs of a thumb alphabet. Finally, by tracking hand poses in a longer image sequence, the pose sequence is interpreted in terms of gestures. Dynamic Bayesian models and their inference methods (particle filter and Viterbi search) are applied at this stage, allowing a bi-driven control of the entire system.
Technologia Rozszerzonej Rzeczywistości (AR) może znaleźć zastosowanie w wielu obszarach. Szczególnie korzystne może być wykorzystanie AR w edukacji. Niniejsza praca jest częścią większego projektu dotyczącego budowy systemu AR opartego na rozpoznawaniu informacji wizyjnej, przeznaczonego do prezentacji edukacyjnych. W pracy prezentowany jest skuteczny algorytm śledzenia ręki, wykorzystujący informacje o kolorze i ruchu.
EN
Augmented Reality (AR) technology can be applied to wide range of application domains. Particularly education is an area where this technology could be especially valuable. The work presented here is part of the larger project of building vision-based Augmented Reality system dedicated to educational presentations. The main contribution of this paper is robust hand tracking algorithm which utilizes color and motion information.
4
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
Automatic recognition of hand shapes in a moving image sequence requires the elements of hand tracking, feature extraction and classification. We have developed a robust tracking algorithm and a new hand shape representation technique that characterises the finger-only topology of the hand by adapting an existing technique from speech signal processing. The tracking algorithm determines the centre of the largest convex subset of the hand throughout an image sequence, using a combination of pattern matching and condensation algorithms. A hand shape feature represents the topological formation of the finger-only regions of the hand using a Linear Predictive Coding parameter set called cepstral coefficients. Feature extraction is performed on the polar dimensions of the hand region-of-interest, by tracking the finger-only region and extracting euclidean distances between the finger-only contour and the hand centre, which are then converted into cepstral coefficients. Experiments are conducted using mug-grabbing sequences to recognise four different hand shapes. Results demonstrate the robustness of hand tracking on cluttered backgrounds and the effectiveness of the hand shape representation technique on varying hand shapes.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.