With the advent of 3D cameras, getting depth information along with RGB images has been facilitated, which is helpful in various computer vision tasks. However, there are two challenges in using these RGB-D images to help recognize RGB images captured by conventional cameras: one is that the depth images are missing at the testing stage, the other is that the training and test data are drawn from different distributions as they are captured using different equipment. To jointly address the two challenges, we propose an asymmetrical transfer learning framework, wherein three classifiers are trained using the RGB and depth images in the source domain and RGB images in the target domain with a structural risk minimization criterion and regularization theory. A cross-modality co-regularizer is used to restrict the two-source classifier in a consistent manner to increase accuracy. Moreover, an L2,1 norm cross-domain co-regularizer is used to magnify significant visual features and inhibit insignificant ones in the weight vectors of the two RGB classifiers. Thus, using the cross-modality and cross-domain co-regularizer, the knowledge of RGB-D images in the source domain is transferred to the target domain to improve the target classifier. The results of the experiment show that the proposed method is one of the most effective ones.
W dwuczęściowym artykule skupiono uwagę na problemie rejestracji chmur punktów. W pierwszej części omówiono kluczowe komponenty systemu V-SLAM uzupełnione przykładowymi algorytmami i rozwiązaniami stosowanymi w tych komponentach. W poniższej, drugiej części omówiono różne rodzaje wariantów algorytmu ICP, atrybuty punktów oraz operujące na nich metryki. Następnie omówiono metodykę badań oraz przedstawiono wyniki porównania wybranych wariantów wzajemnej rejestracji.
EN
The two-part article focuses on the problem of registration of point clouds. The first part briefly discussed the main components of V-SLAM systems and presented the main steps of the ICP (Iterative Closes Point) algorithm. In the following, second part of the paper, we analyse and compare diverse variants of the ICP algorithm. In particular, we discuss different attributes of points along with operating on them metrics that the ICP can employ. Finally, we present the research methodology and discuss the results of comparison of selected variants of ICP.
Dwuczęściowy artykuł dotyczy problemu rejestracji obrazów RGB-D. W robotyce problem ten znany jest pod pojęciem V-SLAM (ang. Visual Simultaneous Localization and Mapping). W poniższej, pierwszej części artykułu omówiono pokrótce główne komponenty typowego systemu rejestracji, a następnie zawężono uwagę do algorytmu ICP (ang. Iterative Closest Point), służącego do wzajemnej rejestracji chmur punktów. W drugiej części artykułu uwagę skupiono na asocjacji chmur punktów, różnego rodzaju atrybutach punktów, które mogą być wykorzystane podczas znajdowania dopasowań oraz szeregu metryk operujących na tych atrybutach. Pokrótce omówiono zastosowaną metodykę badań, zaprezentowano eksperymenty mające na celu porównanie wybranych odmian algorytmu ICP oraz omówiono otrzymane wyniki.
EN
The two-part article focuses on the problem of registration of RGB-D images, a problem that in the robotics domain is known as Visual Simultaneous Localization and Mapping, or V-SLAM in short. The following, first part of the article presents a bird’s eye view on the main components of V-SLAM systems and focuses on the ICP (Iterative Closest Point), an algorithm for a pairwise registration of point clouds. In the second part we present different types of attributes of points that can be used during the association step along with different metrics that operate on those attributes and that can be employed during the registration. We also describe the methodology used in the conducted experiments and discuss the results of comparison of selected flavours of ICP.
Niniejszy referat prezentuje zestaw narzędzi, które powstały w celu wspomagania systemu autonomicznej nawigacji kołowej platformy mobilnej wyposażonej w sensor głębi. Dostępne funkcjonalności dotyczą między innymi konwersji obrazu głębi do postaci dwuwymiarowej we współrzędnych biegunowych, przy czym z mapy głębi usuwane jest podłoże i przeprowadzana jest kompensacja wpływu pochylenia czujnika na zwracane odległości. Dodatkowo, zestaw zawiera narzędzie do wykrywania przeszkód wklęsłych jak schody czy urwiska. Ostatni pakiet oprogramowania służy do estymacji wysokości oraz kąta pochylenia czujnika głębi względem podłoża na podstawie obrazu głębi. Narzędzia zaimplementowano w środowisku ROS i są kompatybilne z czujnikiem Microsoft Kinect.
EN
The paper presents set of tools based depth sensor for navigation system of ReMeDi mobile platform. First of the tools allows to convert a 3D depth image to a 2D scan in polar coordinates, to remove ground plane from the image and to compensate sensor tilt angle. Moreover, paper presents a method of negative obstacles detection based on depth sensor. The method is compatible with standard ROS navigation package. The last tool is used for the depth sensor pose estimation with respect to the ground using the RANSAC algorithm. The tools were implemented in ROS environment and they were tested with Microsoft Kinect sensor.
Celem pracy jest przedstawienie algorytmu klasyfikacji miejsc wykorzystując teorię Dempstera-Shafera. Zaproponowany algorytm składa się z dwóch etapów: fazy uczenia oraz klasyfikacji pomieszczeń na podstawie występujących w tych pomieszczeniach obiektów. W przeciwieństwie do większości metod nie zakładamy świata zamkniętego, tzn. w przypadku braku dostatecznych przesłanek udzielana jest odpowiedź 'nie wiem'. Opisywana metoda została przetestowana w rzeczywistym otoczeniu w budynku wydziału Mechatroniki Politechniki Warszawskiej oraz wykorzystując publiczną bazę danych udostępnioną przez MIT.
EN
The paper presents a method of semantic labeling of the environment of a mobile indoor robot. In our approach we proposed a novel method of places classification. Rooms are classified based on objects which have been recognized by sensors. Each object (or sets of objects) votes for a set of classes of rooms. Data aggregation is performed using Dempster-Shafer theory (DST), which can be regarded as a generalization of the Bayesian theory. The experiments performed in real office environment and using simulation proved the efficiency of our approach.
Dotychczasowe prace w dziedzinie rozpoznawania obiektów 3D zaowocowały opracowaniem wielu deskryptorów punktów charakterystycznych oraz odsegmentowanych klastrów. Większość z nich stanowią histogramy, od histogramów prostych cech lokalnych przez rozkłady kształtu po wielowymiarowe deskryptory, takie jak PFH. Zainspirowało nas to do opracowania uogólnienia deskryptorów histogramowych oraz wprowadzenia idei Uogólnionych Histogramów Krotek (ang. Generalized Tuple Histograms) - GTH, umożliwiających zbadanie wielu tysięcy nowych deskryptorów, uwzględniających nie tylko relacje pomiędzy parami punktów, ale również relacje między punktowe dowolnych n-krotek oraz cech lokalnych wyliczanych dla pojedynczych punktów. Porównaliśmy ponad 8000 deskryptorów GTH wykorzystując bazę 160 widoków obiektów należących do 14 różnych klas semantycznych. W trakcie eksperymentu znaleźliśmy wiele deskryptorów, które przewyższają cechy PFH pod kątem unikalności jako kompaktowej miary zdolności rozróżniania obiektów. Stanowi to jednak tylko początek badań nad proponowanym podejściem, które otwiera interesującą możliwość wykorzystania wyższych krotek do opracowania silniejszych deskryptorów.
EN
Recent work on 3D object recognition resulted in numerous descriptors for keypoints and segmented clusters. The majority of them are histograms, from histograms of simple local or point features through shape distributions to high dimensional descriptors, such us PFH. This inspired us to develop a generalization of histogram descriptors and introduce the idea of Generalized Tuple Histograms - GTH (of which the mentioned are particular cases) which allows to explore many thousands of new descriptors involving not only relations of point pairs but inter-point relations of any n-tuples, as well as local properties defined for single points. We compare over 8000 GTH descriptors for a data base of 160 views of objects from 14 semantic classes acquired with a Kinect sensor and pre-processed with Kinect Fusion. During this experiment we find many descriptors that outperform PFH as well as shape distributions in terms of the used histogram uniqueness compact metric.
Artykuł przedstawia projekt oraz implementację równoległego algorytmu RANSAC w architekturze CUDA w zadaniu rejestracji chmur punktów na potrzeby manipulacji obiektami codziennego użytku. Na początku pracy krótko omówiono szeregową wersję algorytmu oraz wspomniano o kilku jego modyfikacjach znanych z literatury, po czym przeprowadzono rozumowanie projektowe a następnie implementacyjne wersji równoległej. Testy porównawcze udowodniły poprawność działania algorytmu przy jednoczesnym kilkudziesięciokrotnym zysku czasowym. Wynikiem pracy jest realizacja znalezienia lokalnego układu współrzędnych obserwowanego obiektu na scenie w czasie bliskim czasowi rzeczywistemu. Kod źródłowy programu udostępniono w Internecie jako część projektu Heuros.
EN
In this paper a project and implementation of the parallel RANSAC algorithm in CUDA architecture are presented. The goal is to register point clouds for munipulation of everyday object as fast as possible. In the beginning a serial algorithm with a variety of modifications from the literature is introduced whereupon the idea and CUDA implementation details are discussed. The comparative test has proven the proper working of the implementation together with a significant program execution acceleration. The result is finding local coordinate system of the object in the scene in the near real-time conditions. The source code is shared in the Internet as a part of the Heuros system.
Praca dotyczy zagadnienia identyfikacji danych głębi z danymi intensywności w zastosowaniu do zadania jednoczesnej samolokalizacji i budowy mapy otoczenia (ang. Simultaneous Localization and Mapping – SLAM). Integracja danych przeprowadzona została dla czujnika głębi o rozdzielczości obrazu znacząco mniejszej od rozdzielczości obrazu RGB. W artykule sprawdzono dwie metody zwiększania rozdzielczości. Jedna z nich wykorzystuje interpolację biliniową obrazu głębi podczas jego przeskalowywania, a druga opiera się na fuzji danych głębi oraz intensywności. Przetestowano jakość działanie obu metod podwyższania rozdzielczości w zadaniu SLAM. Porównanie podejść nastąpiło na podstawie eksperymentu, w którym zebrano dane z dwóch czujników głębi wraz z kamerą RGB oraz zarejestrowano trajektorię przemieszczenia czujników.
EN
In this paper the method of combining depth data with intensity images in the Simultaneous Localization and Mapping (SLAM) task is described. Data integration was performed for the depth sensor with substantially lower resolution than the RGB image. In this paper two methods of upsampling were tested. First one is using pure interpolation during upsampling, and the second one is based on data fusion guided by RGB image. The quality of selected methods was examined in a SLAM task. The comparison of these two methods was done experimentally, where data from depth and RGB sensors were gathered and the trajectory of the sensor movement was recorded.
W poniższej pracy skupiono uwagę na wykorzystaniu czujników RGB-D do rozpoznawania obiektów na potrzeby robotyki usługowej. W szczególności celem było porównanie działania wybranych metod weryfikacji hipotez. W referacie pokrótce opisano kompletny podsystem percepcji robota służący do rozpoznawania obiektów oraz zaproponowano odpowiednią metodykę badań. W badaniach tych przeanalizowano zarówno poprawność detekcji, jak i pozycjonowania rozpoznawanych obiektów. Otrzymane wyniki potwierdzają poprawność opracowanego rozwiązania i wskazują kierunki dalszego rozwoju systemu.
EN
In this paper we focus on the utilization of RGB-D sensors in robot perception for the purpose of recognition of diverse objects. In particular, we compare three selected methods for verification of object hypotheses. We briefly present the complete robot perception subsystem and propose a comparison methodology. In the performed studies we have analyzed the correctness of both detection and pose estimation of the recognized objects. The results confirmed the correctness of the developed solution and indicate directions for further research.
Aby móc realizować zadania natury manipulacyjnej roboty muszą dysponować dobrej jakości spójnymi modelami manipulowanych obiektów. Celem prac opisanych w poniższym referacie było opracowanie systemu do rejestracji trójwymiarowych modeli obiektów. Ponieważ jakość modeli uzyskiwanych za pomocą komercyjnych czujników RGB-D była niska, wytworzono układ wielokamerowy z dodatkowym oświetlaczem strukturalnym. W referacie pokrótce omówiono zaimplementowany system do rejestracji modeli oraz porównano modele otrzymane w oparciu o czujnik Microsoft Kinect oraz układ wielokamerowy.
EN
In order to carry out grasping and manipulation tasks the robot control systems must possess good quality and consistent models of objects. The aim of the work presented in the this paper was the creation of a system for registration of such three – dimensional models. Because the quality of the models obtained using commercial RGB-D sensors was low, we have created our own multi-camera hardware setup with additional pattern projector. The article briefly describes the main modules of the developed registration system and discusses the results obtained with the use of Microsoft Kinect in comparison to the results obtained with the proposed hardware setup.
Referat przedstawia nowe algorytmy 6DSLAM w zastosowaniu do zrobotyzowanego mobilnego systemu mapowania 3D. W ramach pracy nad systemem mapowania opracowano architekturę algorytmu 6DSLAM umożliwiającą zastosowanie różnych technik rejestracji danych. Algorytm składa się z modułu iteracyjnej rejestracji danych, przy czym zaimplementowano następujące metody ICP (ang. Iterative Closest Point). ICP punkt do rzutu punktu (ang. ICP point to projection), ICP wykorzystujące semantyczną dyskryminację punktów (semantic ICP), LS3D (ang. Least Square Surface Matching). NDT (ang. Normal Distributions Transform). Algorytm realizuje także zagadnienie zamknięcia pętli za pomocą metod LUM oraz LS3D. Wprowadzono autorską modyfikację metody LUM poprzez implementację różnych technik wyznaczania najbliższych sąsiadów w tym punkt do punktu, punkt do rzutu a także wykorzystujące semantyczną dyskryminację punktów. Implementacje oparto o modyfikację istniejących rozwiązań: 3DTK oraz PCL oraz o autorską implementację wykorzystującą obliczenia równolegle z zastosowaniem biblioteki NVIDIA CUDA 7.5. Przedstawiono eksperymenty weryfikujące zasadność zastosowania poszczególnych metod biorąc pod uwagę praktyczne zastosowania.
EN
This work concerns new 6DSLAM algorithms with application of robotic mobile 3D mapping system. New architecture of 6DSLAM algorithm is designed to make possible reconfigure algorithm for different registration techniques. Algorithm is composed of iterative registration component, thus ICP (Iterative Closest Point), ICP (point to projection). ICP with semantic discrimination of points, LS3D (Least Square Surface Matching), NDT (Normal Distribution Transform) can be chosen. Loop closing is based on LUM and LS3D. New modification of LUM method is proposed, thus it is based on novel nearest neighbourhood search implementations such as point to point, point to projection, semantic discrimination of points. Implementation is based on modified 3DTK and PCL frameworks and novel parallel programming techniques using NVIDIA CUDA 7.5. Paper shows experiments that are demonstrating advantages of proposed approach in relation to practical applications.
Robotyka usługowa, będąca od dłuższego czasu jednym z głównych kierunków zainteresowania robotyków na świecie, dąży do stworzenia robotów potrafiących współpracować z ludźmi bądź wyręczać ich w zadaniach poza fabrykami. W niemalże wszystkich tego typu zastosowaniach, jedną z kluczowych kwestii jest rozpoznawanie obiektów w otoczeniu robota. Dostępność pełnych, trójwymiarowych modeli tych przedmiotów znacząco poprawia jakość ich detekcji i rozpoznawania. Budowanie modeli obiektów jest dużo łatwiejsze przy zastosowaniu stolików obrotowych w celu akwizycji wielu widoków tego samego przedmiotu. W artykule przedstawiono projekt i budowę stanowiska do półautomatycznego zbierania wielu widoków obiektów.
EN
Service robotics which is now a hot topic worldwide, aims at creating robots able to cooperate with people or even do everyday tasks for them. One of the key issues in such applications is the object recognition task. Detection and recognition of such can be greatly improved, if full, three-dimensional models of objects are available. And those can be created in fast and robust way using rotators to capture multiple views of the same object. In this paper, design and construction of the smart rotator for semi-automatic acquisition of multiple object views is presented.
Artykuł prezentuje zastosowanie czujnika RGB-D w systemie nawigacji robota kroczącego sześcionożnego Messor 2. Czujnik jest wykorzystywany do estymacji pozycji robota oraz do budowy rastrowej reprezentacji modelu otoczenia. W artykule przedstawiono system nawigacji robota kroczącego, w skład którego wchodzi również moduł planujący ścieżkę robota na podstawie uzyskanej mapy rastrowej, oraz moduł sterujący robotem. Wyniki działania systemu zaprezentowano na rzeczywistym robocie kroczącym. Pokazano wpływ systemu lokalizacji na jakość uzyskiwanej mapy rastrowej otoczenia.
EN
The paper presents the application of the RGB-D sensor in the navigation system of a six-legged walking robot. The RGB-D sensor is used in the SLAM subsystem to estimate pose of the robot and to build dense environment model (elevation map). The paper presents the navigation system of the robot. The system includes SLAM subsystem, mapping module, motion planner and robot's controller. The results of the experiments on the real robot are provided. The influence of the localization system on the quality of the obtained elevation map is presented.
Niniejszy artykuł opisuje metodę detekcji i lokalizacji obiektów w obrazach RGB-D uzyskanych z czujnika Microsoft Kinect. W tym celu wykorzystywane są mechanizmy analizy chmur punktów zawarte w bibliotece Point Cloud Library, takie jak deskryptory VFH i CRH oraz iteracyjna metoda dokładnego dopasowania chmury punktów ICP i weryfikacji hipotezy. Wykryte i zidentyfikowane obiekty poddawane są następnie klasycznej analizie dwuwymiarowej opartej o porównanie histogramów kolorów. Zaproponowane podejście pozwala na odróżnienie obiektów o tej samej geometrii, ale innym kolorach. Niestety ze względu na stosunkowo niską jakość obrazu, próba wykorzystania deskryptorów dwuwymiarowych nie przyniosła oczekiwanych rezultatów. Efekty zaimplementowanej metody rozpoznawania i lokalizacji obiektów wykorzystywane są w procesie ich chwytania przez manipulator Scorbot-er 4u.
EN
This paper describes a method of detection and localization of objects in RGB-D images obtained from the Microsoft Kinect sensor. To this end Point Cloud Library analysts mechanisms such as VFH and CRH descriptors as well as iterative point cloud fitting algorithm ICP and hypothesis verification are used. Detected and identified objects are then subject to a classic two-dimensional analysis based on a comparison of then color histograms. The proposed approach allows to distinguish objects with the same geometry but different color. Unfortunately due to the relatively low image quality, an attempt to use two-dimensional descriptors did not bring the expected effects. The results of the implemented methods of detection and localization of objects are used in the process of their grasping by the Scorbot-er 4u manipulator.
Jednym z najważniejszych tematów w badaniu deskryptorów lokalnych 3D jest wydajność obliczeniowa. Wiodącym obecnie podejściem do tematu jest używanie detektorów punktów charakterystycznych, które skutecznie ograniczają obszar, dla którego deskryptory muszą zostać obliczone. Wybór tych punktów charakterystycznych jest zadaniem nietrywialnym, mającym czasem ujemny wpływ na skuteczność detekcji obiektów. W tym artykule skupiając się na zadaniu detekcji pojedynczej klasy obiektów, zamiast detekcji punktów charakterystycznych zaproponowano hierarchiczny algorytm ograniczania uwagi: słabsze, lecz szybsze metody klasyfikacji o mniejszej sile odrzucania negatywnych obszarów wykorzystano jako heurystykę dla metod bardziej złożonych. Opracowano podstawę masowo-równoległego, otwarto-źródłowego systemu rozpoznawania obiektów, który został zastosowany do zbadania zaproponowanej metody w wymagających. realistycznych scenach wnętrza budynku
EN
One of the most important topics in the research concerning 3D local descriptors is computational efficiency. The state-of-the-art approach addressing this matter consists in using keypoint detectors that effectively limit the number of points for which the descriptors arc computed. However, the choice of keypoints is not trivial and might have negative implications, such as the omission of relevant areas. Instead, focusing on the task of single object detection, we propose a keypoint-less approach to attention focusing in which the full scene is processed in a hierarchical manner: weaker, less rejective and faster classification methods are used as heuristics for increasingly robust descriptors. We have developed a massively-parallel, open source object recognition framework, which we use to explore the proposed method on demanding, realistic indoor scenes.
Niniejsza praca stanowi próbę odpowiedzi na pytanie jak różne podejścia do zagadnienia przetwarzania danych RGB-D w systemie SLAM wpływają na jakość estymowanej trajektorii ruchu sensora umieszczonego na robocie mobilnym. Na podstawie wyników badań eksperymentalnych wyciągnięto wnioski co do odporności poszczególnych rozwiązań stosowanych w systemach SLAM na problemy charakterystyczne dla różnych klas robotów oraz typów środowiska.
EN
This paper evaluates six different RGB-D localization systems in the context of the application on mobile robots. Four systems under investigation represent state of the art approaches to SLAM, and they are compared to our new approach, called PUT SLAM and a baseline visual odometry system. We identify problems related to the specific data gathered in-motion by mobile robots and demonstrate robustness and accuracy of our new approach. The SLAM systems are evaluated applying she well-established methodologies, and using data sets which are made public to ensure that our results are verifiable.
Dzięki dzisiejszej zaawansowanej technologii sensorów 3D i dużej dostępności mocy obliczeniowej, uzyskanie i przedstawienie informacji na temat obszarów nieznanych dla systemu wizyjnego jest w zasięgu ręki. Autorzy tego artykułu prezentują skuteczne zastosowanie tej dotychczas mało używanej wiedzy w udoskonaleniu znanego algorytmu RANSAC do opracowania chmur punktów. Przeprowadzone zostały doświdczenia na rzeczywistych obrazach 3D, które dowodzą wielkokrotnej poprawy skuteczności dotychczas stosowanych metod w połączeniu z naszym algorytmem.
EN
Thanks to recent advance in 3D sensing technology and affordable high computational capability, capturing and processing information about areas unknown to a vision system became possible. The authors of this article present an effective application of this barely used knowledge for improving the known RASNAC algorithm for point cloud matching. The presented experiments, carried on real 3d images, prove that the proposed method significantly improves the effectiveness of state-of-the art methods when combined with our algorithm.
W referacie przedstawiono przebieg i wyniki testów czujnika Kinect for Windows, wraz z dedykowanym oprogramowaniem, pod kątem zastosowania w robotyce społecznej. Rozważono dwa projekty oprogramowania - Microsoft Kinect SDK i OpenNI z biblioteką NiTE. Szczególny nacisk położono na parametry mające wpływ na działanie kompetencji robota społecznego, takie jak szybkość wykrycia użytkownika, dokładność określenia jego położenia i orientacji czy też stabilność śledzenia poszczególnych użytkowników. Wskazano kluczowe cechy i różnice między przetestowanymi pakietami w kontekście algorytmów zorientowanych na percepcję człowieka.
EN
This paper describes experiments carried out using a Kinect for Windows sensor and dedicated software with emphasis on use in social robotics. Two software packages are considered - Microsoft Kinect SDK and OpenNI with NiTE library. Particular emphasis is placed upon the parameters affecting the competencies of a social robot, such as detection time, accuracy of joint position and orientation detection or stability of tracking of individual user. Key characteristics of the tested packages are identified and the integration with exisiting social robot control system described.
Artykuł przedstawia modifikacje algorytmu monokularowego EKF-SLAM (MonoSLAM). Jego działanie rozszerzono o wykorzystanie bezpośrednich pomiarów odległości, które są dostępne dla niektorych współczesnych sensorów wizyjnych. Ponadto zachowano typowy dla monokularowego SLAM mechanizm śledzenia cech o częściowo określonym położeniu. Wykazano, iż taka forma inicjalizacji cech zwiększa skuteczność działania badanego algorytmu, a także dokładność estymacji położenia cech.
EN
The paper present a modification of an existing algorithm - MonoSLAM. It has been altered in order to receive direct information from Kinect and use it to determine the location of point features. This method allows to initialize features, for which distance is possible to be measured, with directly measured values. For other features typical monocular SLAM initialization mechanism is preserved. The gathered results illustrate that this initialization of features significantly improves the functioning of the original algorithm. It does not lose the position of the feature and maps the desired trajectory much better. Reduction of uncertainty of a feature is also much faster.
Since the low-cost depth sensors have become widely available, RGB-D mapping is getting more popular in mobile robotics. These sensors provide large amounts of data providing images and depth information. To build 3D maps on-line the high speed data registration alogrithm is needed. To solve this problem we propose the GPGPU implementation of the FAST and BFROST matching algorithms using both RGB image and normal vectors visualization image. We compute the initial transformation usisng RANSAC and HORN closed-form solution algorithm. Finally, we use semantic information to improve the GPGPU ICP and to get an accurate model of the environment.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.