Wyniki wyszukiwania - BazTech

1

Hand posture recognition using modified ensemble of shape functions and global radius-based surface descriptor

Warchoł D.

Computer Science

|

2018

|

Vol. 19 (2)

115--137

EN

This paper presents an approach to the recognition of static hand gestures based on data acquired from 3D cameras and point cloud descriptors: Ensemble of Shape Functions and Global Radius-based Surface Descriptor. We describe a recognition algorithm consisting of hand segmentation, noise removal and downsampling of point clouds, dividing point cloud bounding boxes to cells, feature extraction and normalization, and gesture classification. Modifications to the descriptors are proposed in order to increase the hand posture recognition rates while decreasing the quantity of used features as well as the computational cost of the algorithm. Experiments performed on four challenging datasets using cross-validation tests prove the usefulness of our approach.

2

A suite of tools supporting data streams annotation and its use in experiments with hand gesture recognition

Kapuściński T., Warchoł D.

Studia Informatica

|

2017

|

Vol. 38, nr 4

89--107

EN

In this paper we present the concept and our implementation of a suite of tools supporting the annotation of sequential data. These tools are useful in experiments related to multimedia data sequences. We show the two exemplary usage scenarios of these tools in the process of building the gesture recognition system.

PL

W artykule przedstawiamy koncepcję i naszą implementację zestawu narzędzi wspomagających adnotowanie danych sekwencyjnych. Opracowane narzędzia są użyteczne w eksperymentach związanych z sekwencjami danych multimedialnych. Przedstawiono dwa przykładowe scenariusze użycia tych narzędzi w procesie budowy systemu rozpoznawania gestów wykonywanych dłonią.

3

Porównanie i łączenie cech deskryptorów chmur punktów w rozpoznawaniu statycznych układów dłoni

Warchoł D.

Zeszyty Naukowe Politechniki Rzeszowskiej. Elektrotechnika

|

2016

|

z. 35 [294], nr 1

51--67

PL

W pracy omówiono metodę rozpoznawania statycznych układów dłoni przy użyciu trzech deskryptorów chmur punktów: Viewpoint Feature Histogram (VFH), Global Radius-Based Surface Descriptor (GRSD) oraz Ensemble of Shape Functions (ESF). Deskryptory te opisują chmury punktów wykorzystując siatkę prostopadłościennych, wolumetrycznych elementów (ang. voxel grid), wektory normalne wyznaczone dla powierzchni chmury, rozkłady odległości punktów od ich sąsiadów oraz promienie sfer wpisanych we fragmenty powierzchni. Przeprowadzono testy walidacji krzyżowej uzyskując w ten sposób zestawienie wyników skuteczności klasyfikacji dla pojedynczych cech każdego deskryptora, łączonych cech tego samego i różnych deskryptorów. Testy przeprowadzono na zbiorze danych zawierającym 1000 map głębi: 10 różnych układów dłoni wykonanych 10 razy przez 10 osób. Przed przystąpieniem do procesu ekstrakcji cech każda chmura punktów jest wstępnie przetwarzana, włączając w to: segmentację (w celu oddzielenia dłoni od pozostałych fragmentów chmury), rotację względem środka dłoni oraz najdłuższego z wysuniętych palców (w celu uniezależnienia metody od obrotów dłoni wokół osi prostopadłej do obiektywu kamery) oraz redukcję punktów (w celu przyspieszenia obliczeń). Zestawienie wyników testów uzupełniono o dodatkową informację – rozmiar wektora cech wykorzystanego przy klasyfikacji, co pozwala odnaleźć kombinację cech będącą punktem kompromisu pomiędzy skutecznością klasyfikacji a ilością wymiarów danych.

EN

The paper presents the method of recognizing static hand postures using three point cloud descriptors: Viewpoint Feature Histogram (VFH), Global Radius-Based Surface Descriptor (GRSD) and Ensemble of Shape Functions (ESF). These descriptors describe point clouds with the usage of the voxel grid, vectors normal to the cloud surface, distributions of the points’ distances to their neighbors, and radii of spheres inscribed to parts of the surface. The cross-validation tests have been performed yielding the comparison of classification correctness for the single features, combined features of the same descriptor and of different descriptors. The tests have been performed on a dataset containing 1000 depth maps: 10 different hand postures shown 10 times by 10 subjects. Before the feature extracting process, each point cloud must be preprocessed, including: segmentation (in order to separate the hand from the other cloud parts), rotation related to the hand center and the longest extended finger (in order to make the algorithm independent from the hand rotations around the axis perpendicular to the camera lens), and the points reduction (in order to make the calculations faster). The results are complemented by an additional information – the size of the feature vector used in the classification. It allows to find a combination of features that constitutes a point of compromise between the classification correctness and the number of data dimensions.

4

Recognition of Hand Posture Based on a Point Cloud Descriptor and a Feature of Extended Fingers

Warchoł D., Wysocki M.

Journal of Automation Mobile Robotics and Intelligent Systems

|

2016

|

Vol. 10, No. 1

48--57

EN

Our work involves hand posture recognition based on 3D data acquired by the KinectTM sensor in the form of point clouds. We combine a descriptor built on the basis of the Viewpoint Feature Histogram (VFH) with additional feature describing the number of extended fingers. First, we extract a region corresponding to the hand and then a histogram of the edge distances from the palm center is built. Based on quantized version of the histogram we calculate the number of extended fingers. This information is used as a first feature describing the hand which, together with VFH-based features, form the feature vector. Before calculating VFH we rotate the hand making our method invariant to hand rotations around the axis perpendicular to the camera lens. Finally, we apply nearest neighbor technique for the posture classification. We present results of crossvalidation tests performed on a representative dataset consisting of 10 different postures, each shown 10 times by 10 subjects. The comparison of recognition rate and mean computation time with other works performed on this dataset confirms the usefulness of our approach.