Wyniki wyszukiwania - BazTech

1

Human gesture recognition using hidden Markov models and sensor Fusion

Emmanuel Dominguez Ramon, Raquel Diaz Hernandez, Leopoldo Altamirano Robles

Computer Science

|

2022

|

T. 23 (2)

227--245

EN

Considering the continued drive of human needs along with the constant improvement of technology, it is convenient to develop techniques that can enhance communication between computers and humans in the most intuitive ways possible. The possibility of automatically recognizing human gestures using artificial vision (among other kinds of sensors) allows us to explore a whole range of applications to control and interact with environments. Nowadays, most approaches for gesture recognition using sensors agree in the use of vision, myography, and movement devices that are applied to robotic, medical, and industrial applications. In the context of this work, we study the principles of using both vision and body contact sensing applied to the automatic classification of a human gesture set. For this, two different approaches have been evaluated: feed-forward neural networks, and hidden Markov models. These models have been studied and implemented for recognizing up to eight different human hand gestures that are commonly applied in collaborative robotics tasks.

2

Tracking of dynamic gesture fingertips positionin video sequence

Grzejszczak Tomasz, Molle Reinhard, Roth Robert

Archives of Control Sciences

|

2020

|

Vol. 30, No. 1

101--122

EN

The field of research of this paper combines Human Computer Interface, gesture recognition and fingertips tracking. Most gesture recognition algorithms processing color images are unable to locate folded fingers hidden inside hand contour. With use of hand landmarks detection and localization algorithm, processing directional images, the fingertips are tracked whether they are risen or folded inside the hand contour. The capabilities of the method, repeatibility and accuracy, are tested with use of 3 gestures that are recorded on the USB camera. Fingertips are tracked in gestures presenting a linear movement of an open hand, finger folding into fist and clenched fist movement. In conclusion, a discussion of accuracy in application to HCI is presented.

3

Rozpoznawanie gestów statycznych ręki za pomocą rękawicy sensorowej

Piskozub Jacek, Tomalczyk Krzysztof, Strumiłło Paweł, Piskozub Maciej

Przegląd Elektrotechniczny

|

2019

|

R. 95, nr 9

142--145

PL

W niniejszej pracy opisano rękawicę sensorową, umożliwiającą rozpoznawanie wybranych gestów ręki. W urządzeniu zastosowano 10 rezystancyjnych czujników ugięcia, zamocowanych za pomocą materiałowych kieszeni do rękawicy. Układ czujników tworzy dwa rzędy, jeden na wysokości stawów śródręczno-paliczkowych oraz drugi, na wysokości stawów międzypaliczkowych. Wykonany prototyp przetestowano na grupie trzech osób wykonujących 18 statycznych gestów polskiego języka migowego. Otrzymane dane sprawdzono pod kątem możliwości ich automatycznej klasyfikacji za pomocą trzech wybranych klasyfikatorów: k-najbliższych sąsiadów, naiwnego klasyfikatora bayesowskiego oraz drzewa decyzyjnego. Klasyfikacje przeprowadzano dla trójwymiarowego zbioru danych otrzymanych z czujników umiejscowionych nad stawami międzypaliczkowymi palców: środkowego, wskazującego i kciuka oraz dla dziesięciowymiarowego zbioru danych otrzymanych ze wszystkich czujników. Najlepsze wyniki klasyfikacji znaków dla obu zbiorów uzyskano za pomocą naiwnego klasyfikatora bayesowskiego, którego skuteczność wyniosła 66,66%.

EN

This work describes a sensor glove that allows real-time recognition of the position of the fingers. The device uses 10 resistive flex sensors fastened with material glove pockets. The sensor system consists of two rows, one at the height of the metacarpophalangeal joints and the second at the height of the interphalangeal joints. The prototype was tested on a group of three people performing 18 static gestures of Polish sign language. The data obtained was checked for the possibility of their automatic classification using three selected classifiers: k-nearest neighbours, naive Bayesian classifier and decision tree. Classifications were carried out for a simplified three-dimensional dataset obtained from sensors located above interphalangeal joints of the middle, index and thumb fingers and for the ten-dimensional dataset obtained from all sensors. The best character classification results for both sets were obtained for the naive Bayesian classifier, with a maximum recognition rate of 66.66%.

4

Agentowa struktura wielomodalnego interfejsu do Narodowej Platformy Cyberbezpieczeństwa, część 2

Kasprzak Włodzimierz, Szynkiewicz Wojciech, Stefańczyk Maciej, Dudek Wojciech, Figat Maksym, Węgierek Maciej, Seredyński Dawid, Zieliński Cezary

Pomiary Automatyka Robotyka

|

2019

|

R. 23, nr 4

5--18

PL

Ten dwuczęściowy artykuł przedstawia interfejs do Narodowej Platformy Cyberbezpieczeństwa (NPC). Wykorzystuje on gesty i komendy wydawane głosem do sterowania pracą platformy. Ta część artykułu przedstawia strukturę interfejsu oraz sposób jego działania, ponadto prezentuje zagadnienia związane z jego implementacją. Do specyfikacji interfejsu wykorzystano podejście oparte na agentach upostaciowionych, wykazując że podejście to może być stosowane do tworzenia nie tylko systemów robotycznych, do czego było wykorzystywane wielokrotnie uprzednio. Aby dostosować to podejście do agentów, które działają na pograniczu środowiska fizycznego i cyberprzestrzeni, należało ekran monitora potraktować jako część środowiska, natomiast okienka i kursory potraktować jako elementy agentów. W konsekwencji uzyskano bardzo przejrzystą strukturę projektowanego systemu. Część druga tego artykułu przedstawia algorytmy wykorzystane do rozpoznawania mowy i mówców oraz gestów, a także rezultaty testów tych algorytmów.

EN

This two part paper presents an interface to the National Cybersecurity Platform utilising gestures and voice commands as the means of interaction between the operator and the platform. Cyberspace and its underlying infrastructure are vulnerable to a broad range of risk stemming from diverse cyber-threats. The main role of this interface is to support security analysts and operators controlling visualisation of cyberspace events like incidents or cyber-attacks especially when manipulating graphical information. Main visualization control modalities are gesture- and voice-based commands. Thus the design of gesture recognition and speech-recognition modules is provided. The speech module is also responsible for speaker identification in order to limit the access to trusted users only, registered with the visualisation control system. This part of the paper focuses on the structure and the activities of the interface, while the second part concentrates on the algorithms employed for the recognition of: gestures, voice commands and speakers.

5

Agentowa struktura wielomodalnego interfejsu do Narodowej Platformy Cyberbezpieczeństwa, część 1

Kasprzak Włodzimierz, Szynkiewicz Wojciech, Stefańczyk Maciej, Dudek Wojciech, Figat Maksym, Węgierek Maciej, Seredyński Dawid, Zieliński Cezary

Pomiary Automatyka Robotyka

|

2019

|

R. 23, nr 3

41--54

PL

Ten dwuczęściowy artykuł przedstawia interfejs do Narodowej Platformy Cyberbezpieczeństwa (NPC). Wykorzystuje on gesty i komendy wydawane głosem do sterowania pracą platformy. Ta część artykułu przedstawia strukturę interfejsu oraz sposób jego działania, ponadto prezentuje zagadnienia związane z jego implementacją. Do specyfikacji interfejsu wykorzystano podejście oparte na agentach upostaciowionych, wykazując że podejście to może być stosowane do tworzenia nie tylko systemów robotycznych, do czego było wykorzystywane wielokrotnie uprzednio. Aby dostosować to podejście do agentów, które działają na pograniczu środowiska fizycznego i cyberprzestrzeni, należało ekran monitora potraktować jako część środowiska, natomiast okienka i kursory potraktować jako elementy agentów. W konsekwencji uzyskano bardzo przejrzystą strukturę projektowanego systemu. Część druga tego artykułu przedstawia algorytmy wykorzystane do rozpoznawania mowy i mówców oraz gestów, a także rezultaty testów tych algorytmów.

EN

This two part paper presents an interface to the National Cybersecurity Platform utilising gestures and voice commands as the means of interaction between the operator and the platform. Cyberspace and its underlying infrastructure are vulnerable to a broad range of risk stemming from diverse cyber-threats. The main role of this interface is to support security analysts and operators controlling visualisation of cyberspace events like incidents or cyber-attacks especially when manipulating graphical information. Main visualization control modalities are gesture- and voice-based commands. Thus the design of gesture recognition and speech-recognition modules is provided. The speech module is also responsible for speaker identification in order to limit the access to trusted users only, registered with the visualisation control system. This part of the paper focuses on the structure and the activities of the interface, while the second part concentrates on the algorithms employed for the recognition of: gestures, voice commands and speakers.

6

Hand motion tracking with tablet devices as a human-computer interface for people with cerebral palsy

Barczewska K., Malawski F.

Challenges of Modern Technology

|

2015

|

Vol. 6, no. 2

3--9

EN

This article describes experiments which were conducted with two groups of people: healthy and with cerebral palsy. The purpose of the experiments was to verify two hypothesis: 1) that people with cerebral palsy can interact with computer using their natural gestures, 2) that games for tablets can be a research tool in experiments with young disabled people. Two games, which require the user to make simple gestures to accomplish given tasks, were designed and implemented on a tablet device with a built-in camera. Because of the camera limitations, the tracking process employs blue markers. By moving hand with a blue marker it was possible to perform navigation tasks in both games. In the first game the user had to gather, in 30 seconds, as many objects as possible. The objects were placed on the screen in a grid pattern. In the second game the user had to catch one object 20 times. The position of the object changed after each catch. Results obtained by healthy people were considered as a reference. However there are significant differences between measured parameters in both groups, all persons - healthy and with cerebral palsy - were able to accomplish the tasks by using simple gestures. Games for tablets turned out to be a very attractive research tool from the perspective of young, disabled users. They participated in measurement sessions much more willingly than in experiments without games.

7

Application of visual system for hand control of 3D manipulator

Milecki A., Sawicki Ł.

Archives of Mechanical Technology and Materials

|

2015

|

Vol. 35

92--100

EN

The article concerns controlling of a 3-axles manipulator by hand movement, recognized by visual system. In the investigations the Kinect sensor was used, which enabled the acquiring of 2D hand images with depth parameter. The OpenCV library was used for recognition of hand position in a real-time computer based control system. The control program was written in C++ language, which allows the processing of 15 frames per second. The proposed control system enabled to operate the manipulator with the same frequency.

PL

Artykuł skupia się na sterowaniu 3 osiowego manipulatora wykorzystując obraz głębi pozyskany z sensora Kinect oraz bibliotekę OpenCV, przeznaczoną głównie do obróbki obrazu w czasie rzeczywistym. Opracowany program został napisany w C++ i pozwala na operowanie manipulatorem z prędkością 15 FPS. Komunikacja ze sterownikiem manipulatora została zapewnioną za pomocą kabla USB.

8

Towards gesture recognition in three-dimensional space

Gadomer Ł.

Advances in Computer Science Research

|

2015

|

Nr 12

5--20

EN

In this work, author describes the continuation of his researches about gesture recognition. The previous varaint of the solution was using plain data and was dependent of the performance velocity. In the described researches author made it speed and position invariant by resolving problem of too long or too short gestures – in a previous solution the user had to decide about gesture duration time before performing, now it is not necessary. He also proposed another data representations, using features computed of recorded data. Previous representation, which assumed storing relative positions between samples, was replaced by transforming each gesture to the axis origin and normalizing. He also tried to connect these two representations – plain data and features – into a single one. All of these new data representations were tested using the SVM classifier, which was judged to be the best for the given problem in the previous work. Each of them was tested using one of four popular SVM kernel functions: linear, polynomial, sigmoid and radial basis function (RBF). All achieved results are presented and compared.

PL

W niniejszym artykule autor opisał kontynuację swoich badań dotyczących rozpoznawania gestów. Ulepszył on stworzone przez siebie rozwiązanie w taki sposób, aby nagrywanie i rozpoznawanie gestów było niezależne od szybkości ich wykonywania, a co za tym idzie — ich zróżnicowanej długości. Zaproponował on także inne reprezentacje danych, za pomocą których wyrażany jest stworzony zbiór gestów. Wcześniejsze rozwiązanie, opierające się na przechowywaniu relatywnego położenia dłoni w stosunku do poprzedniej zarejestrowanej próbki (poprzedniego położenia), zastąpione zostało sprowadzeniem gestu do początku układu współrzędnych i zastąpieniem wartości relatywnych absolutnymi, a następnie ich normalizację Z tak przygotowanego zbioru gestów obliczone zostały cechy stanowiące drugą zaproponowaną reprezentację danych. Trzecia reprezentacja stanowi połączenie dwóch poprzednich: zawiera jednocześnie bezpośrednie wartości wyrażające ruch dłoni, jak i obliczone na podstawie jego cechy. Wszystkie trzy reprezentacje zostały przetestowane przy pomocy klasyfikatora, który okazał się najlepszy dla zadanego problemu podczas przeprowadzania wcześniejszych badań: SVM. Porównano, jak z zadanym problemem radzą sobie cztery popularne funkcje jądra: liniowa, wielomianowa, sigmoidalna i radialna. Otrzymane wyniki zostały przedstawione, porównane i omówione.

9

Image recognition usage to control computer application

Szymczyk T.

Przegląd Elektrotechniczny

|

2014

|

R. 90, nr 4

185--188

EN

The article deals with the possibility of control of selected applications running in Windows using images recorded in real time by a computer webcam. These images are simple tags, the more complicated the actual artwork hand and move your hand-gestures. It is possible to use two techniques. The first is placed on the hand of coloured markers. The second technique allows a more natural control - no markup. The article describes the basic problems affecting the image acquisitions. In the next part focuses on graphics libraries enable image recognition in real time. The fundamental errors of those libraries that hinder recognition were analysed and a number of solutions to correct these errors were proposed.

PL

W artykule zaprezentowano możliwość sterowania aplikacjami działającymi pod kontrolą systemu operacyjnego Windows, za pomocą obrazów zarejestrowanych przez kamerę internetowa. Obrazami tymi mogą być zarówno proste znaczniki, jak również znacznie bardziej skomplikowane obrazy ruchome czy też gesty dłoni. Zaprezentowano dwie techniki. Pierwsza z nich oparta jest o kolorowe znaczniki umieszczone na dłoni. Drugi sposób to technika bez markerów. Jest ona znacznie bardziej naturalna od pierwszej. W artykule wspomniano także o podstawowych problemach związanych z pozyskiwaniem obrazu w szczególności w kontekście późniejszego rozpoznawania. Przeanalizowano także elementarne błędy zawarte w bibliotekach utrudniające automatyczne rozpoznawanie obrazów. Zaproponowano kilka rozwiązań poprawiających te błędy.

10

Automatic Classification of Polish Sign Language Words

Dziubich T., Szymański J.

Przegląd Elektrotechniczny

|

2014

|

R. 90, nr 3

191--194

EN

In the article we present the approach to automatic recognition of hand gestures using eGlove device. We present the research results of the system for detection and classification of static and dynamic words of Polish language. The results indicate the usage of eGlove allows to gain good recognition quality that additionally can be improved using additional data sources such as RGB cameras.

PL

W artykule przedstawiono podejście do automatycznego rozpoznawania gestów migowych w oparciu o dedykowane do tego zadania urządzenie pod nazwą eGlove. Przeprowadzono analizę podejść do klasyfikacji gestów statycznych i dynamicznych. Uzyskane rezultaty wskazują, że opracowane urządzenie może zostać wykorzystane do analizy gestów języka mówionego, jednakże dla gestów dynamicznych ograniczeniem jest rozmiar słownika.

11

Innowacyjne zastosowania bezkontaktowych interfejsów użytkownika w rozpoznawaniu gestów i telemanipulacji

Kostka P., Nawrat A., Antoniak Ł., Sadowski W., Małota Z.

Medical Robotics Reports

|

2014

|

vol. 3

39--45

PL

W pracy przedstawiono pilotażowe prace projektowe w warstwie sprzętowej i programowej oraz otrzymane na ich podstawie wyniki badań funkcjonalności, ograniczeń i parametrów technicznych nowatorskich zastosowań bezkontaktowych interfejsów użytkownika w dwóch polach aplikacyjnych: 1. rozpoznawania gestów np. w systemach przywoławczych, dla sterownika Kinect 2. telemanipulacji lokalnej i na duże odległości na przykładzie sterowania systemem telemanipulatora Robin Heart w warunkach sterylnego laboratorium lub sali operacyjnej, dla kontrolera Leap Motion™. Na uwagę zasługuje innowacyjna integracja precyzyjnego kontrolera Leap Motion™ z systemem sterowania rodziny telemanipulatorów Robin Heart, co pozwoliło na przeprowadzenie testów zadawania pozycji kartezjańskiej XYZ manipulatorowi toru wizyjnego RH Vision. Równolegle przeprowadzono analizę możliwości i przydatności do zadań biomedycznych alternatywnego rozwiązania bezdotykowego systemu MMI – urządzenia Kinect™. Wyznaczono warunki poprawnej pracy urządzenia w polu rozpoznawania gestów, które może z powodzeniem już w niedługim czasie wkroczyć do systemów przywoławczych, jako nowy bardziej wygodny i funkcjonalny standard np. na salach obłożnie chorych. Dla obydwu rozwiązań wyznaczono czasy opóźnień wprowadzanych przez sterowniki podczas akwizycji, przetwarzania i transmisji sygnałów.

12

Real time gesture recognition in 3d space using selected classifiers

Gadomer Ł., Skoczylas M.

Architecturae et Artibus

|

2014

|

Vol. 6, no. 1

14--18

EN

In this paper, authors propose a solution to track gestures of hands in 3-dimensional space that can be inserted into a CAVE3D environment. Idea of gestures recognition system is described and the results of research made on a recorded gesture data. In this study three selected classifiers to resolve this problem have been tested and results compared.

13

Rozpoznawanie gestów wykonywanych dłońmi na podstawie pojedynczych obrazów

Koszowski G.

Studia Informatica

|

2013

|

Vol. 34, nr 2A

379--392

PL

Artykuł zawiera wyniki 3 grup algorytmów stosowanych do rozpoznawania gestów wykonywanych dłońmi na podstawie pojedynczych obrazów. Algorytmy te opierają się na: dopasowaniu szablonów masek binarnych obrazów, metodach opartych na konturach dłoni w obrazie oraz detekcji reprezentantów punktów reprezentujących krzywizny konturów dłoni. Wyniki uzyskano na podstawie 3 baz danych, w których obrazy zostały podzielone na bazę testową i referencyjną. Jedna baza referencyjna została wygenerowana na podstawie modelu 3D.

EN

This Paper include results of 3 groups of algorithms used to hand pose gesture recognition based on single images. Those algorithms base on: Template Matching of binary masks from images, methods based on hand contours in image and the Points representing points from curvatures detection. Results were obtained with 3 databases, which images were split for test and reference database. One of reference databases was generated from the 3D model.

14

Rozpoznawanie gestów z wykorzystaniem czujników inercyjnych o 9 stopniach swobody

Barczewska K., Drozd A., Folwarczny Ł.

Pomiary Automatyka Kontrola

|

2013

|

R. 59, nr 3

235--238

PL

Rozpoznawanie gestów za pomocą czujników inercyjnych może być alternatywą dla standardowych interfejsów człowiek-komputer. Do śledzenia gestów wykorzystano czujnik zawierający trójosiowy akcelerometr, magnetometr i żyroskop. W dotychczasowych badaniach bazowano na sygnałach przyspieszenia. Autorzy zaproponowali i porównali rozwiązania wykorzystujące zarówno analizę przyspieszenia, jak i orientacji w przestrzeni, a także umożliwili badanym osobom wykonywanie gestów w sposób naturalny. Wyniki pokazują, że za pomocą algorytmu DTW (Dynamic Time Warping) możliwa jest klasyfikacja indywidualna dla danej osoby (ze skutecznością 92%), a także klasyfikacja uogólniona - na podstawie uniwersalnego wzorca (ze skutecznością 83%).

EN

Gesture recognition may be applied to control of computer applica-tions and electronic devices as an alternative to standard human-machine interfaces. This paper reports a method of gesture classification based on analysis of data from 9DOF inertial sensor - NEC-TOKIN, Motion Sensor MDP-A3U9S (Fig.1). Nine volunteers were asked to perform 10 different gestures (shown in Fig.2) in a natural way with a sensor attached to their hand. The gesture data base consisting of 2160 files with triaxial acceleration and orientation signals was created. In the first step the data were divided into training and testing sets. The designed system uses the Dynamic Time Warping (DTW) algorithm to calculate similarity of signals (formulas (1)-(3)). Using this method the authors chose representative signals to indi-vidual and generalized exemplars data base from the training set. The DTW algorithm was also used in the classification process. Different recognition approaches were tested basing on acceleration-only, orientation-only and acceleration-orientation signals. The results listed in Tab.4 show that the best recognition efficiency of 92% was obtained in the individual recognition (only one person gestures taken into account) for modified exemplars data base. The modification proposed by the authors (Section 3) improved the recognition rate by 10 percentage points. The efficiency rate of 83% (Tab. 5) was reached in the generalized case. The next step of im-proving the designed recognition system is application of an inertial system with a bluetooth module and real-time gesture classification.

15

Virtual hand modeling for gesture recognition

Koszowski G., Kawulok M.

Studia Informatica

|

2012

|

Vol. 33, nr 2B

25-36

EN

In this paper we present a virtual hand tool for generating a database of artificial hand images for gesture recognition purposes. Our solution is based on 3D hand model with 23 degrees of freedom and skeleton animation. For every real hand image, the most similar artificial image is retrieved from the database, which allows hand pose be estimated. The initial results presented in the paper are encouraging and justify the further development of this method.

PL

Celem prac przedstawionych w niniejszym artykule było opracowanie trójwymiarowego modelu ludzkiej dłoni na potrzeby rozpoznawania gestów. Model ten, posiadający 23 stopnie swobody i oparty na animacji szkieletowej, umożliwia generację bazy danych obrazów, pozwalającej na estymację parametrów ułożenia dłoni dla zadanego rzeczywistego obrazu. Uzyskane wyniki wstępne są satysfakcjonujące i wskazują na możliwość wykorzystania stworzonego modelu do rzeczywistych zastosowań.

16

Wizualne gesty użytkownika w sterowaniu prezentacją

Nowicki W., Nowosielski A.

Metody Informatyki Stosowanej

|

2011

|

nr 2

97-103

EN

In the article the problem of visual gesture recognition for presentation steering is presented. Based on camera image analysis the idea of steering is proposed. Presented system operates without a specialized controller and bases on visual gestures of the presenter. Conducted experiments with users demonstrated high usability of the system.

17

Gesture-based computer control system

Lech M., Kostek B., Czyżewski A., Odya P.

Elektronika : konstrukcje, technologie, zastosowania

|

2010

|

Vol. 51, nr 3

49-53

PL

W artykule przedstawiono system sterowania komputerem za pomocą gestów rąk. W pierwszej części dokonano przeglądu wybranych metod rozpoznawania gestów. Następnie zaprezentowano część sprzętową systemu oraz metodykę sterowania. Opisano również architekturę oprogramowania wraz z metodami i algorytmami zastosowanymi przy rozpoznawaniu gestów rąk. W dalszej części pokazano zestaw prostych gestów oraz bazujących na nich gestów złożonych, rozpoznawanych przez system.

EN

In the paper a system for controlling computer applications by hand gestures is presented. First, selected methods used for gesture recognition are described. The system hardware and a way of controlling a computer by gestures are described. The architecture of the software along with hand gesture recognition methods and algorithms used are presented. Examples of basic and complex gestures recognized by the system are given.

18

Constrained contour matching in hand posture recognition

Wilkowski A., Kasprzak W.

Image Processing & Communications

|

2009

|

Vol. 14, no 2-3

31-41

EN

In this paper constrained contour models are applied for hand posture-recognition in single color images. In particular, the proposed algorithm utilizes a class of physics-based modelling methods called Deformable Templates [1],[2],[3]. After color-based image segmentation a contour hypothesis is detected and some features are extracted, suitable for comparison with the template's geometric properties. Several metrics for matching contour templates against image data are discussed. The described methods are evaluated experimentally and referred to a known hand posture recognition algorithm.

19

Automatic recognition of signed Polish expressions

Kapuściński T., Wysocki M.

Archives of Control Sciences

|

2005

|

Vol. 15, no. 3

329-336

EN

The paper considers recognition of single sentences of the Polish Sign Language. We use a canonical stereo system that observes the signer from a frontal view. Feature vectors take into account information about the hand shape and orientation, as well as 3D position of the hand with respect to the face. Recognition based on human skin detection and hidden Markov models (HMMs) is performed on line. We focus on 35 sentences and a 101 word vocabulary that can be used at the doctor's and at the post office. Details of the solution and results of experiments with regular and parallel HMMs are given.

20

Representing the finger-only topology for hand shape recognition

Holden E. J., Owens R.

Machine Graphics and Vision

|

2003

|

Vol. 12, No. 2

187-202

EN

Automatic recognition of hand shapes in a moving image sequence requires the elements of hand tracking, feature extraction and classification. We have developed a robust tracking algorithm and a new hand shape representation technique that characterises the finger-only topology of the hand by adapting an existing technique from speech signal processing. The tracking algorithm determines the centre of the largest convex subset of the hand throughout an image sequence, using a combination of pattern matching and condensation algorithms. A hand shape feature represents the topological formation of the finger-only regions of the hand using a Linear Predictive Coding parameter set called cepstral coefficients. Feature extraction is performed on the polar dimensions of the hand region-of-interest, by tracking the finger-only region and extracting euclidean distances between the finger-only contour and the hand centre, which are then converted into cepstral coefficients. Experiments are conducted using mug-grabbing sequences to recognise four different hand shapes. Results demonstrate the robustness of hand tracking on cluttered backgrounds and the effectiveness of the hand shape representation technique on varying hand shapes.