Identyfikacja i lokalizacja obiektów w obrazach RGB-D dla celów manipulacji

• Autorzy: Kołomyjec K. , Czajewski W.

Warianty tytułu

EN

Identification and localization of objects in RGD-D images for the purpose of manipulation

• Języki publikacji: PL

Abstrakty

PL

Niniejszy artykuł opisuje metodę detekcji i lokalizacji obiektów w obrazach RGB-D uzyskanych z czujnika Microsoft Kinect. W tym celu wykorzystywane są mechanizmy analizy chmur punktów zawarte w bibliotece Point Cloud Library, takie jak deskryptory VFH i CRH oraz iteracyjna metoda dokładnego dopasowania chmury punktów ICP i weryfikacji hipotezy. Wykryte i zidentyfikowane obiekty poddawane są następnie klasycznej analizie dwuwymiarowej opartej o porównanie histogramów kolorów. Zaproponowane podejście pozwala na odróżnienie obiektów o tej samej geometrii, ale innym kolorach. Niestety ze względu na stosunkowo niską jakość obrazu, próba wykorzystania deskryptorów dwuwymiarowych nie przyniosła oczekiwanych rezultatów. Efekty zaimplementowanej metody rozpoznawania i lokalizacji obiektów wykorzystywane są w procesie ich chwytania przez manipulator Scorbot-er 4u.

EN

This paper describes a method of detection and localization of objects in RGB-D images obtained from the Microsoft Kinect sensor. To this end Point Cloud Library analysts mechanisms such as VFH and CRH descriptors as well as iterative point cloud fitting algorithm ICP and hypothesis verification are used. Detected and identified objects are then subject to a classic two-dimensional analysis based on a comparison of then color histograms. The proposed approach allows to distinguish objects with the same geometry but different color. Unfortunately due to the relatively low image quality, an attempt to use two-dimensional descriptors did not bring the expected effects. The results of the implemented methods of detection and localization of objects are used in the process of their grasping by the Scorbot-er 4u manipulator.

Słowa kluczowe

PL

robotyka; percepcja robotów; obraz RGB-D; identyfikacja obiektu; lokalizacja obiektu

EN

robotics; perception of robots; RGB-D image; identification of the object; location of the object

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2016
• Tom: z. 195, t. 2
• Strony: 377--386
• Opis fizyczny: Bibliogr. 16 poz., rys., tab.

Twórcy

autor

Kołomyjec K.

• Instytut Sterowania i Elektroniki Przemysłowej, Politechnika Warszawska, ul. Koszykowa 75, 00-662 Warszawa

autor

Czajewski W.

• Instytut Sterowania i Elektroniki Przemysłowej, Politechnika Warszawska, ul. Koszykowa 75, 00-662 Warszawa

Bibliografia

• [1] A. Aldoma et al. Three-Dimensional Object Recognition and 6 DoF Pose Estimation. IEEE Robotics & Automation Magazine, September 2012, s. 80-91.
• [2] Aldoma et al. OUR-CVFH Oriented, Unique and Repeatable Clustered View point Feature Histogram for Object Recognition and 6DOF Pose Estimation. Pattern Recognition, 2012, s. 113-122.
• [3] A. Aldoma et al. A global hypotheses verification method for 30 object recognition. Computer Vision-ECCV, 2012, s. 511-524.
• [4] A. Aldoma, R. B. Rusu, M. Vincze. 0-Order Affordances through CAD-Model Recognition and 6DOF Pose Estimation. in Workshop: Active Semantic Perception and Object Search in the Real World, IROS, 2011.
• [5] L. A. Alexandre. 3D Descriptors for Object and Category Recognition: a Comparative Evaluation. Workshop on Color-Depth Camera Fusion in Robotics at the IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2012, October 7-12, Vilamoura, Portugal, 2012.
• [6] K. Alhamzi. M. Elmogy, S. Barakat. 3D Object Recognition Based on Local and Global Features Using Point Cloud Library. International Journal of Advancements in Computing Technology (IJACT) Volume 7, Number 3, May 2015.
• [7] R. Bogdan, R. Cousins. 3D is here: Point Cloud Library (PCL). Robotics and Automation (ICRA), 2011 IEEE International Conference, Shanghai, 9-13 May 2011.
• [8] L. Dzierżanowski, R. Koza. Identyfikacja obiektów na podstawie chmury punktów. Poznań University of Technology Academic Journals. Electrical Engineering No 76, 2013, s. 135-142.
• [9] R. Kurban, F. Skuka, H. Bozpolat Plane Segmentation of Kinect Point Clouds using RANSAC 7th International Conference on Information Technology, ICIT, At Amman. Jordan. 2015. s. 545 -551.
• [10] M. Łępicka, T. Kornuta, and M. Stefańczyk. Utilization of colour in ICP-based point cloud registration. Proceedings of the 9th International Conference on Computer Recognition Systems CORES 2015, 2016, s. 821-830.
• [11] L. Martinez, P. Loncomilla, J. Rutz-dei-Solar. Object recognition for manipulation tasks in real domestic settings: A comparative study. Proceedings of 18th RoboCup International Symposium, Lecture Notes in Computer Science. Joao Pessoa Brasil : Springer, 2014.
• [12] K. Nafouki. Object recognition and pose estimation from an RGB-D image. Raport techniczny, Uniwersytet Techniczny w Monachium, 2016, s. 5.
• [13] R.B. Rusu et al. Fast 30 Recognition and Pose Using the Viewpoint Feature Histogram. Proceedings of the 23rd IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Taipei, Taiwan, 10/2010, s. 2155-2162.
• [14] W. Wohlkinger et al. 3DNet: Large-scale object class recognition from CAD models Robotics and Automation (ICRA), 2012 IEEE International Conference, Saint Paul, MN, 14-18 May 2012, s. 5384-5391.
• [15] PCL/OpenNI tutorial 5: 3D object recognition (pipeline) http://robotica.unileon.es/mediawiki/index.php/PCL/OpenNI_tutorial_5:_3D_object_recognition_(pipeline)
• [16] PCL/OpenNI tutorial 4: 3D object recognition (descriptors) http://robotica.unileon.es/mediawiki/indPx.php/PCL/OpenNl_tutorial_4:_3D_object_recognition_(descriptors)#VFH

Uwagi

PL

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.