Rozpoznawanie obiektów w obrazach RGB-D : generacja modeli obiektów

• Autorzy: Kornuta, T. , Laszkowski, M. , Wilkowski, A. , Żmuda, Ł. , Katerżawa, K.

Warianty tytułu

EN

Recognition of objects in RGB-D images : generation of models of objects

• Języki publikacji: PL

Abstrakty

PL

Czujniki RGB-D zwracające obrazy kolorowe wraz ze skojarzonymi mapami głębi otwierają nowe możliwości w percepcji robotów. W dwuczęściowym artykule skupiono uwagę na rozpoznawaniu obiektów w obrazach zwracanych przez tego typu urządzenia. W poniższej, pierwszej części skupiono uwagę na generacji modeli obiektów trójwymiarowych. Zaprezentowano stworzone stanowisko do akwizycji różnych widoków obiektów oraz omówiono proces tworzenia modeli poprzez łączenie tych widoków. Ideę jego działania oparto o przekształcenie obrazu RGB-D do postaci chmury punktów oraz ekstrakcję cech. Stworzone modele wykorzystywane są następnie do rozpoznawania konkretnych instalacji obiektów z wykorzystaniem metod probabilistycznych, czemu poświęcono drugą część artykułu.

EN

The two-part article focuses on the recognition of objects in RGB-D images. The following, first part is devoted to the generation of model of three-dimensional objects. A single model is created from several views of a given object. The whole process os based on the conversion of a single view (an RGB-D image with the object mask) into a point cloud and extraction of features, which are suqsequently used in the process of merging all views into a single model of an object. The second part of the article describes how those models are used for the recognition of object instances in analysed RGB-D images.

Słowa kluczowe

PL

percepcja obrazu; obraz RGB-D; model obiektu; rozpoznawanie obiektu; robotyka

EN

image perception; RGB-D; object model; object recognition; robotics

• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2014
• Tom: z. 194, t. 1
• Strony: 277--286
• Opis fizyczny: Bibliogr. 20 poz.., rys.

Twórcy

autor

Kornuta, T.

• Instytut Automatyki i Informatyki Stosowanej, Wydział Elektroniki i Technik Informacyjnych, Politechnika Warszawska, ul. Nowowiejska 15/19, 00-665 Warszawa,

autor

Laszkowski, M.

• Instytut Automatyki i Informatyki Stosowanej, Wydział Elektroniki i Technik Informacyjnych, Politechnika Warszawska, ul. Nowowiejska 15/19, 00-665 Warszawa

autor

Wilkowski, A.

• Wydział Geodezji i Kartografii, PW, Pl. Politechniki 1, 00-661 Warszawa

autor

Żmuda, Ł.

• IAiIS, WEiTI, PW

autor

Katerżawa, K.

• Instytut Automatyki i Informatyki Stosowanej, Wydział Elektroniki i Technik Informacyjnych, Politechnika Warszawska, ul. Nowowiejska 15/19, 00-665 Warszawa

Bibliografia

• [1] A. Aldoma et al. Tutorial: Point cloud library: Three-dimensional object recognition and 6 dof pose estimation. Robotics & Automation Magazine, IEEE, 2012, wolumen 19, numer 3, s. 80-91.
• [2] N. Atanasov et al. Hypothesis testing framework for active object detection. In: Robotics and Automation (ICRA), 2013 IEEE International Conference on. Proceedings. IEEE, 2013, s. 4216-4222.
• [3] P. Besl, N. McKay. A method for registration of 3-d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, wolumen 14, numer 2, s. 239-256.
• [4] M. A. Fischler, R. C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 1981, wolumen 24, numer 6, s. 381-395.
• [5] Ł. Ilnicki, B. Siemiątkowska. Algorytm łączenia chmur punktów na podstawie informacji wizualno-metrycznej. In: XII Krajowa Konferencja Robotyki – Postępy Robotyki. Proceedings. Oficyna Wydawnicza Politechniki Warszawskiej, 2012. wolumen 182 serii Prace Naukowe. Elektronika, s. 207-216.
• [6] T. Kornuta. Design of Structures and Behaviours of Robot Control Systems Using Active Vision. Praca doktorska, Warsaw University of Technology, 2012.
• [7] T. Kornuta, C. Zieliński. Dekompozycja systemu sterowania robota-kasjera. Pomiary Automatyka Robotyka, 2011, wolumen 15, numer 2, s. 41-48.
• [8] T. Kornuta, C. Zieliński. Robot control system design exemplified by multicamera visual servoing. Journal of Intelligent & Robotic Systems, 2013, s. 1-25.
• [9] K. Lai et al. A large-scale hierarchical multi-view RGB-D object dataset. In: Robotics and Automation (ICRA), 2011 IEEE International Conference on. Proceedings. IEEE, 2011, s. 1817-1824.
• [10] D. G. Lowe. Distinctive image features from scale-invariant keypoints. International journal of computer vision, 2004, wolumen 60, numer 2, s. 91-110.
• [11] Thomas Morwald et al. Blort-the blocks world robotic vision toolbox. 2010.
• [12] M. Muja, D. G. Lowe. Fast approximate nearest neighbors with automatic algorithm configuration. In: VISAPP (1). Proceedings, 2009, s. 331-340.
• [13] K. Pulli. Multiview registration for large data sets. In: 3-D Digital Imaging and Modeling, 1999. Proceedings. Second International Conference on. Proceedings. IEEE, 1999, s. 160-168.
• [14] X. Ren, D. Fox, K. Konolige. Change Their Perception: RGB-D for 3-D Modeling and Recognition. Robotics & Automation Magazine, IEEE, 2013, wolumen 20, numer 4, s. 49-59.
• [15] T. Ruhr et al. A generalized framework for opening doors and drawers in kitchen environments. In: International Conference on Robotics and Automation (ICRA). Proceedings. IEEE, 2012, s. 3852-3858.
• [16] R. B. Rusu et al. Aligning point cloud views using persistent feature histograms. In: Intelligent Robots and Systems, 2008. IROS 2008. IEEE/RSJ International Conference on. Proceedings. IEEE, 2008, s. 3384-3391.
• [17] G. C. Sharp, S. W. Lee, D. K. Wehe. Multiview registration of 3d scenes by minimizing error between coordinate frames. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2004, wolumen 26, numer 8, s. 1037-1050.
• [18] M. Stefańczyk et al. Robot usługowy Velma - aktywna głowa. In: XIII Krajowa Konferencja Robotyki. Proceedings, 2014. (zgłoszony).
• [19] F. Tombari, S. Salti, L. Di Stefano. A combined texture-shape descriptor for enhanced 3d feature matching. In: Image Processing (ICIP), 2011 18th IEEE International Conference on. Proceedings. IEEE, 2011, s. 809-812.
• [20] M. Walęcki et al. Robot usługowy Velma - korpus i system sterowania. In: XIII Krajowa Konferencja Robotyki. Proceedings, 2014. (zgłoszony).