W artykule przedstawiono system sterowania gestem opartego na czujniku Microsoft Kinect. Omówiono najpopularniejsze środowiska umożliwiające realizację systemu zintegrowanego, wykorzystującego różnorodny sprzęt i oprogramowanie. Przygotowano algorytm bezdotykowego sterowania manipulatorem. Przedstawiono wyniki eksperymentów, przeprowadzonych w celu określenia dokładności i dobrania optymalnej metody sterowania.
EN
The article presents a gesture control system based on the Microsoft Kinect sensor. The most popular environments for implementation of the system realization using a variety of equipment and software are discussed. The prepared algorithm for non-contact control of the manipulator is presented. The paper discusses the results of experiments conducted to determine the accuracy of the control and the optimal control method.
A computer vision system is described that captures color image sequences, detects and recognizes static hand poses (i.e., 'letters') and interprets pose sequences in terms of gestures (i.e., 'words'). The hand object is detected with a double-active contour-based method. A tracking of the hand pose in a short sequence allows detecting 'modified poses', like diacritic letters in national alphabets. The static hand pose set corresponds to hand signs of a thumb alphabet. Finally, by tracking hand poses in a longer image sequence, the pose sequence is interpreted in terms of gestures. Dynamic Bayesian models and their inference methods (particle filter and Viterbi search) are applied at this stage, allowing a bi-driven control of the entire system.
Technologia Rozszerzonej Rzeczywistości (AR) może znaleźć zastosowanie w wielu obszarach. Szczególnie korzystne może być wykorzystanie AR w edukacji. Niniejsza praca jest częścią większego projektu dotyczącego budowy systemu AR opartego na rozpoznawaniu informacji wizyjnej, przeznaczonego do prezentacji edukacyjnych. W pracy prezentowany jest skuteczny algorytm śledzenia ręki, wykorzystujący informacje o kolorze i ruchu.
EN
Augmented Reality (AR) technology can be applied to wide range of application domains. Particularly education is an area where this technology could be especially valuable. The work presented here is part of the larger project of building vision-based Augmented Reality system dedicated to educational presentations. The main contribution of this paper is robust hand tracking algorithm which utilizes color and motion information.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.