Porównanie i łączenie cech deskryptorów chmur punktów w rozpoznawaniu statycznych układów dłoni

• Autorzy: Warchoł D.

Identyfikatory

DOI

10.7862/re.2016.5

Warianty tytułu

EN

Comparing and combining of point cloud descriptors' features in static hand posture recognition

• Języki publikacji: PL

Abstrakty

PL

W pracy omówiono metodę rozpoznawania statycznych układów dłoni przy użyciu trzech deskryptorów chmur punktów: Viewpoint Feature Histogram (VFH), Global Radius-Based Surface Descriptor (GRSD) oraz Ensemble of Shape Functions (ESF). Deskryptory te opisują chmury punktów wykorzystując siatkę prostopadłościennych, wolumetrycznych elementów (ang. voxel grid), wektory normalne wyznaczone dla powierzchni chmury, rozkłady odległości punktów od ich sąsiadów oraz promienie sfer wpisanych we fragmenty powierzchni. Przeprowadzono testy walidacji krzyżowej uzyskując w ten sposób zestawienie wyników skuteczności klasyfikacji dla pojedynczych cech każdego deskryptora, łączonych cech tego samego i różnych deskryptorów. Testy przeprowadzono na zbiorze danych zawierającym 1000 map głębi: 10 różnych układów dłoni wykonanych 10 razy przez 10 osób. Przed przystąpieniem do procesu ekstrakcji cech każda chmura punktów jest wstępnie przetwarzana, włączając w to: segmentację (w celu oddzielenia dłoni od pozostałych fragmentów chmury), rotację względem środka dłoni oraz najdłuższego z wysuniętych palców (w celu uniezależnienia metody od obrotów dłoni wokół osi prostopadłej do obiektywu kamery) oraz redukcję punktów (w celu przyspieszenia obliczeń). Zestawienie wyników testów uzupełniono o dodatkową informację – rozmiar wektora cech wykorzystanego przy klasyfikacji, co pozwala odnaleźć kombinację cech będącą punktem kompromisu pomiędzy skutecznością klasyfikacji a ilością wymiarów danych.

EN

The paper presents the method of recognizing static hand postures using three point cloud descriptors: Viewpoint Feature Histogram (VFH), Global Radius-Based Surface Descriptor (GRSD) and Ensemble of Shape Functions (ESF). These descriptors describe point clouds with the usage of the voxel grid, vectors normal to the cloud surface, distributions of the points’ distances to their neighbors, and radii of spheres inscribed to parts of the surface. The cross-validation tests have been performed yielding the comparison of classification correctness for the single features, combined features of the same descriptor and of different descriptors. The tests have been performed on a dataset containing 1000 depth maps: 10 different hand postures shown 10 times by 10 subjects. Before the feature extracting process, each point cloud must be preprocessed, including: segmentation (in order to separate the hand from the other cloud parts), rotation related to the hand center and the longest extended finger (in order to make the algorithm independent from the hand rotations around the axis perpendicular to the camera lens), and the points reduction (in order to make the calculations faster). The results are complemented by an additional information – the size of the feature vector used in the classification. It allows to find a combination of features that constitutes a point of compromise between the classification correctness and the number of data dimensions.

Słowa kluczowe

PL

deskryptory chmur punktów; chmura punktów; Histogram Cech Zależnych od Punktu Widzenia; Globalny Deskryptor Powierzchni Bazujący na Promieniach Sfer; Zestaw Funkcji Kształtu

EN

point cloud descriptors; point cloud; Viewpoint Feature Histogram; VFH; Global Radius-Based Surface Descriptor; GRSD; Ensemble of Shape Functions; ESF

• Wydawca: Oficyna Wydawnicza Politechniki Rzeszowskiej
• Czasopismo: Zeszyty Naukowe Politechniki Rzeszowskiej. Elektrotechnika
• Rocznik: 2016
• Tom: z. 35 [294], nr 1
• Strony: 51--67
• Opis fizyczny: Bibliogr. 22 poz., rys., tab.

Twórcy

autor

Warchoł D.

• Politechnika Rzeszowska im. Ignacego Łukasiewicza, Wydział Elektrotechniki i Informatyki, ul. W. Pola 2, 35- 021 Rzeszów

Bibliografia

• [1] Bay H., Ess A., Tuytelaars T., Van Gool L.: Speeded-Up Robust Features, Computer Vision and Image Understanding, tom 110, wydanie 3, czerwiec 2008, pp. 346-359.
• [2] Bellman, R. E.: Adaptive Control Processes, Princeton, NJ. Press, 1961.
• [3] Dominio F., Donadeo M., Zanuttigh P.: Combining multiple depth-based descriptors for hand gesture recognition, Pattern Recognition Letters, tom 50, grudzień 2014, pp. 101-111.
• [4] Kapuscinski T., Oszust M., Wysocki M.: Recognition of signed dynamic expressions observed by ToF camera, Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA): pp. 291-296, Poznan 2013.
• [5] Kapuscinski T., Oszust M., Wysocki M., Warchol D.: Recognition of hand gestures observed by depth cameras, International Journal of Advanced Robotic Systems, 2015.
• [6] Keskin C., Kirac F., Kara Y. E., Akarun L.: Real time hand pose estimation using depth sensors, Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, pp. 1228-1234, Barcelona 2011.
• [7] Larose, D. T.: Discovering knowledge in data: an introduction to data mining, John Wiley & Sons, 2014, pp. 90-106.
• [8] Marton Z.C., Pangeric D., Blodow N., Beetz M.: Combined 2D-3D categorization and classification for multimodal perception systems, International Journal of Robotics Research, tom 10, wydanie 11, wrzesień 2011, pp. 1378-1472.
• [9] Marton Z.C., Pangeric D., Blodow N., Kleinehellefort J., Beetz M.: General 3D modelling of novel objects from a single view, Intelligent Robots and Systems(IROS), 2010 IEEE/RSJ International Conference on, pp. 3700-3705, Taipei 2010.
• [10] Marton Z.C., Pangeric D., Rusu R. B., Holzbach A., Beetz M.: Hierarchical object categorization and appearance classification for mobile manipulation, Humanoid Robots (Humanoids), 2010 10th IEEE-RAS International Conference on, pp. 365-370, Nashville 2010.
• [11] Molina J., Escudero-Vinolo A., Signoriello A., Pardas M., Ferran C., Bescós J., Marqués F., Martínez J. M.: Real-time user independent hand gesture recognition from time-of-flight camera video using static and dynamic models, Machine Vision and Applications, tom 24, wydanie 1, styczeń 2013, pp. 187-204.
• [12] Oprisescu S. R.: Automatic static hand gesture recognition using ToF cameras, European Signal Processing Conference, pp. 2748-2751, Bucharest 2012.
• [13] Ren Z., Yuan J., Zhang Z.: Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera, MM '11 Proceedings of the 19th ACM international conference on Multimedia, 2011, pp. 1093-1096.
• [14] Rusu R. B., Blodow N., Beetz M.: Fast point feature histograms (FPFH) for 3D registration, Robotics and Automation, 2009. ICRA '09. IEEE International Conference on, pp. 3212-3217, Kobe 2009.
• [15] Rusu R. B., Bradski G., Thibaux R.: Fast 3D recognition and pose using the Viewpoint Feature Histogram, Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on, pp. 2155-2162, Taipei 2010.
• [16] Rusu R. B., Cousins S.: 3D is here: Point Cloud Library (PCL), Robotics and Automation (ICRA), 2011 IEEE International Conference on, pp. 1-4, Shanghai 2011.
• [17] Rusu R. B., Holzbach A., Beetz M..: Detecting and Segmenting Objects for Mobile Manipulation, Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on, pp. 47-54, Kyoto 2009.
• [18] Rusu R., Marton Z. C., Blodow N.: Learning informative point classes for the acquisition of object model maps, Control, Automation, Robotics and Vision, 2008. ICARCV 2008. 10th International Conference on, pp. 643-650, Hanoi 2008.
• [19] Uebersax D., Gall J., Van den Bergh M.: Real-time sign language letter and word recognition from depth data, Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, pp. 383-390, Barcelona 2011.
• [20] Van den Bergh M., Van Gool L.: Combining RGB and ToF cameras for real-time 3D hand gesture interaction, Applications of Computer Vision (WACV), 2011 IEEE Workshop on, pp. 66-72, Kona 2011.
• [21] Wohlkinger W., Vincze M.: Ensemble of Shape Functions for 3D object classifications, Robotics and Biomimetics (ROBIO), 2011 IEEE International Conference on, pp. 2987-2992, Phuket 2011.
• [22] http://kinectexplorer.blogspot.com (aktualizacja 13 grudzień 2011).

Uwagi

PL

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.