Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników

Znaleziono wyników: 19

Liczba wyników na stronie
first rewind previous Strona / 1 next fast forward last
Wyniki wyszukiwania
Wyszukiwano:
w słowach kluczowych:  RGB-D image
help Sortuj według:

help Ogranicz wyniki do:
first rewind previous Strona / 1 next fast forward last
EN
With the advent of 3D cameras, getting depth information along with RGB images has been facilitated, which is helpful in various computer vision tasks. However, there are two challenges in using these RGB-D images to help recognize RGB images captured by conventional cameras: one is that the depth images are missing at the testing stage, the other is that the training and test data are drawn from different distributions as they are captured using different equipment. To jointly address the two challenges, we propose an asymmetrical transfer learning framework, wherein three classifiers are trained using the RGB and depth images in the source domain and RGB images in the target domain with a structural risk minimization criterion and regularization theory. A cross-modality co-regularizer is used to restrict the two-source classifier in a consistent manner to increase accuracy. Moreover, an L2,1 norm cross-domain co-regularizer is used to magnify significant visual features and inhibit insignificant ones in the weight vectors of the two RGB classifiers. Thus, using the cross-modality and cross-domain co-regularizer, the knowledge of RGB-D images in the source domain is transferred to the target domain to improve the target classifier. The results of the experiment show that the proposed method is one of the most effective ones.
PL
W dwuczęściowym artykule skupiono uwagę na problemie rejestracji chmur punktów. W pierwszej części omówiono kluczowe komponenty systemu V-SLAM uzupełnione przykładowymi algorytmami i rozwiązaniami stosowanymi w tych komponentach. W poniższej, drugiej części omówiono różne rodzaje wariantów algorytmu ICP, atrybuty punktów oraz operujące na nich metryki. Następnie omówiono metodykę badań oraz przedstawiono wyniki porównania wybranych wariantów wzajemnej rejestracji.
EN
The two-part article focuses on the problem of registration of point clouds. The first part briefly discussed the main components of V-SLAM systems and presented the main steps of the ICP (Iterative Closes Point) algorithm. In the following, second part of the paper, we analyse and compare diverse variants of the ICP algorithm. In particular, we discuss different attributes of points along with operating on them metrics that the ICP can employ. Finally, we present the research methodology and discuss the results of comparison of selected variants of ICP.
3
Content available Rejestracja chmur punktów: komponenty systemu
PL
Dwuczęściowy artykuł dotyczy problemu rejestracji obrazów RGB-D. W robotyce problem ten znany jest pod pojęciem V-SLAM (ang. Visual Simultaneous Localization and Mapping). W poniższej, pierwszej części artykułu omówiono pokrótce główne komponenty typowego systemu rejestracji, a następnie zawężono uwagę do algorytmu ICP (ang. Iterative Closest Point), służącego do wzajemnej rejestracji chmur punktów. W drugiej części artykułu uwagę skupiono na asocjacji chmur punktów, różnego rodzaju atrybutach punktów, które mogą być wykorzystane podczas znajdowania dopasowań oraz szeregu metryk operujących na tych atrybutach. Pokrótce omówiono zastosowaną metodykę badań, zaprezentowano eksperymenty mające na celu porównanie wybranych odmian algorytmu ICP oraz omówiono otrzymane wyniki.
EN
The two-part article focuses on the problem of registration of RGB-D images, a problem that in the robotics domain is known as Visual Simultaneous Localization and Mapping, or V-SLAM in short. The following, first part of the article presents a bird’s eye view on the main components of V-SLAM systems and focuses on the ICP (Iterative Closest Point), an algorithm for a pairwise registration of point clouds. In the second part we present different types of attributes of points that can be used during the association step along with different metrics that operate on those attributes and that can be employed during the registration. We also describe the methodology used in the conducted experiments and discuss the results of comparison of selected flavours of ICP.
EN
RGB-D sensors became a standard in robotic applications requiring object recognition, such as object grasping and manipulation. A typical object recognition system relies on matching of features extracted from RGB-D images retrieved from the robot sensors with the features of the object models. In this paper we present ModReg: a system for registration of 3D models of objects. The system consists of a modular software associated with a multi-camera setup supplemented with an additional pattern projector, used for the registration of high-resolution RGB-D images. The objects are placed on a fiducial board with two dot patterns enabling extraction of masks of the placed objects and estimation of their initial poses. The acquired dense point clouds constituting subsequent object views undergo pairwise registration and at the end are optimized with a graph-based technique derived from SLAM. The combination of all those elements resulted in a system able to generate consistent 3D models of objects.
EN
This paper describes the results of experiments on detection and recognition of 3D objects in RGB-D images provided by the Microsoft Kinect sensor. While the studies focus on single image use, sequences of frames are also considered and evaluated. Observed objects are categorized based on both geometrical and visual cues, but the emphasis is laid on the performance of the point cloud matching method. To this end, a rarely used approach consisting of independent VFH and CRH descriptors matching, followed by ICP and HV algorithms from the Point Cloud Library is applied. Successfully recognized objects are then subjected to a classical 2D analysis based on color histogram comparison exclusively with objects in the same geometrical category. The proposed two-stage approach allows to distinguish objects of similar geometry and different visual appearance, like soda cans of various brands. By separating geometry and color identification phases, the applied system is still able to categorize objects based on their geometry, even if there is no color match. The recognized objects are then localized in the three-dimensional space and autonomously grasped by a manipulator. To evaluate this approach, a special validation set was created, and additionally a selected scene from the Washington RGB-D Object Dataset was used.
PL
Niniejszy referat prezentuje zestaw narzędzi, które powstały w celu wspomagania systemu autonomicznej nawigacji kołowej platformy mobilnej wyposażonej w sensor głębi. Dostępne funkcjonalności dotyczą między innymi konwersji obrazu głębi do postaci dwuwymiarowej we współrzędnych biegunowych, przy czym z mapy głębi usuwane jest podłoże i przeprowadzana jest kompensacja wpływu pochylenia czujnika na zwracane odległości. Dodatkowo, zestaw zawiera narzędzie do wykrywania przeszkód wklęsłych jak schody czy urwiska. Ostatni pakiet oprogramowania służy do estymacji wysokości oraz kąta pochylenia czujnika głębi względem podłoża na podstawie obrazu głębi. Narzędzia zaimplementowano w środowisku ROS i są kompatybilne z czujnikiem Microsoft Kinect.
EN
The paper presents set of tools based depth sensor for navigation system of ReMeDi mobile platform. First of the tools allows to convert a 3D depth image to a 2D scan in polar coordinates, to remove ground plane from the image and to compensate sensor tilt angle. Moreover, paper presents a method of negative obstacles detection based on depth sensor. The method is compatible with standard ROS navigation package. The last tool is used for the depth sensor pose estimation with respect to the ground using the RANSAC algorithm. The tools were implemented in ROS environment and they were tested with Microsoft Kinect sensor.
PL
Celem pracy jest przedstawienie algorytmu klasyfikacji miejsc wykorzystując teorię Dempstera-Shafera. Zaproponowany algorytm składa się z dwóch etapów: fazy uczenia oraz klasyfikacji pomieszczeń na podstawie występujących w tych pomieszczeniach obiektów. W przeciwieństwie do większości metod nie zakładamy świata zamkniętego, tzn. w przypadku braku dostatecznych przesłanek udzielana jest odpowiedź 'nie wiem'. Opisywana metoda została przetestowana w rzeczywistym otoczeniu w budynku wydziału Mechatroniki Politechniki Warszawskiej oraz wykorzystując publiczną bazę danych udostępnioną przez MIT.
EN
The paper presents a method of semantic labeling of the environment of a mobile indoor robot. In our approach we proposed a novel method of places classification. Rooms are classified based on objects which have been recognized by sensors. Each object (or sets of objects) votes for a set of classes of rooms. Data aggregation is performed using Dempster-Shafer theory (DST), which can be regarded as a generalization of the Bayesian theory. The experiments performed in real office environment and using simulation proved the efficiency of our approach.
PL
Artykuł przedstawia projekt oraz implementację równoległego algorytmu RANSAC w architekturze CUDA w zadaniu rejestracji chmur punktów na potrzeby manipulacji obiektami codziennego użytku. Na początku pracy krótko omówiono szeregową wersję algorytmu oraz wspomniano o kilku jego modyfikacjach znanych z literatury, po czym przeprowadzono rozumowanie projektowe a następnie implementacyjne wersji równoległej. Testy porównawcze udowodniły poprawność działania algorytmu przy jednoczesnym kilkudziesięciokrotnym zysku czasowym. Wynikiem pracy jest realizacja znalezienia lokalnego układu współrzędnych obserwowanego obiektu na scenie w czasie bliskim czasowi rzeczywistemu. Kod źródłowy programu udostępniono w Internecie jako część projektu Heuros.
EN
In this paper a project and implementation of the parallel RANSAC algorithm in CUDA architecture are presented. The goal is to register point clouds for munipulation of everyday object as fast as possible. In the beginning a serial algorithm with a variety of modifications from the literature is introduced whereupon the idea and CUDA implementation details are discussed. The comparative test has proven the proper working of the implementation together with a significant program execution acceleration. The result is finding local coordinate system of the object in the scene in the near real-time conditions. The source code is shared in the Internet as a part of the Heuros system.
PL
Praca dotyczy zagadnienia identyfikacji danych głębi z danymi intensywności w zastosowaniu do zadania jednoczesnej samolokalizacji i budowy mapy otoczenia (ang. Simultaneous Localization and Mapping – SLAM). Integracja danych przeprowadzona została dla czujnika głębi o rozdzielczości obrazu znacząco mniejszej od rozdzielczości obrazu RGB. W artykule sprawdzono dwie metody zwiększania rozdzielczości. Jedna z nich wykorzystuje interpolację biliniową obrazu głębi podczas jego przeskalowywania, a druga opiera się na fuzji danych głębi oraz intensywności. Przetestowano jakość działanie obu metod podwyższania rozdzielczości w zadaniu SLAM. Porównanie podejść nastąpiło na podstawie eksperymentu, w którym zebrano dane z dwóch czujników głębi wraz z kamerą RGB oraz zarejestrowano trajektorię przemieszczenia czujników.
EN
In this paper the method of combining depth data with intensity images in the Simultaneous Localization and Mapping (SLAM) task is described. Data integration was performed for the depth sensor with substantially lower resolution than the RGB image. In this paper two methods of upsampling were tested. First one is using pure interpolation during upsampling, and the second one is based on data fusion guided by RGB image. The quality of selected methods was examined in a SLAM task. The comparison of these two methods was done experimentally, where data from depth and RGB sensors were gathered and the trajectory of the sensor movement was recorded.
PL
W poniższej pracy skupiono uwagę na wykorzystaniu czujników RGB-D do rozpoznawania obiektów na potrzeby robotyki usługowej. W szczególności celem było porównanie działania wybranych metod weryfikacji hipotez. W referacie pokrótce opisano kompletny podsystem percepcji robota służący do rozpoznawania obiektów oraz zaproponowano odpowiednią metodykę badań. W badaniach tych przeanalizowano zarówno poprawność detekcji, jak i pozycjonowania rozpoznawanych obiektów. Otrzymane wyniki potwierdzają poprawność opracowanego rozwiązania i wskazują kierunki dalszego rozwoju systemu.
EN
In this paper we focus on the utilization of RGB-D sensors in robot perception for the purpose of recognition of diverse objects. In particular, we compare three selected methods for verification of object hypotheses. We briefly present the complete robot perception subsystem and propose a comparison methodology. In the performed studies we have analyzed the correctness of both detection and pose estimation of the recognized objects. The results confirmed the correctness of the developed solution and indicate directions for further research.
PL
Aby móc realizować zadania natury manipulacyjnej roboty muszą dysponować dobrej jakości spójnymi modelami manipulowanych obiektów. Celem prac opisanych w poniższym referacie było opracowanie systemu do rejestracji trójwymiarowych modeli obiektów. Ponieważ jakość modeli uzyskiwanych za pomocą komercyjnych czujników RGB-D była niska, wytworzono układ wielokamerowy z dodatkowym oświetlaczem strukturalnym. W referacie pokrótce omówiono zaimplementowany system do rejestracji modeli oraz porównano modele otrzymane w oparciu o czujnik Microsoft Kinect oraz układ wielokamerowy.
EN
In order to carry out grasping and manipulation tasks the robot control systems must possess good quality and consistent models of objects. The aim of the work presented in the this paper was the creation of a system for registration of such three – dimensional models. Because the quality of the models obtained using commercial RGB-D sensors was low, we have created our own multi-camera hardware setup with additional pattern projector. The article briefly describes the main modules of the developed registration system and discusses the results obtained with the use of Microsoft Kinect in comparison to the results obtained with the proposed hardware setup.
PL
Referat przedstawia nowe algorytmy 6DSLAM w zastosowaniu do zrobotyzowanego mobilnego systemu mapowania 3D. W ramach pracy nad systemem mapowania opracowano architekturę algorytmu 6DSLAM umożliwiającą zastosowanie różnych technik rejestracji danych. Algorytm składa się z modułu iteracyjnej rejestracji danych, przy czym zaimplementowano następujące metody ICP (ang. Iterative Closest Point). ICP punkt do rzutu punktu (ang. ICP point to projection), ICP wykorzystujące semantyczną dyskryminację punktów (semantic ICP), LS3D (ang. Least Square Surface Matching). NDT (ang. Normal Distributions Transform). Algorytm realizuje także zagadnienie zamknięcia pętli za pomocą metod LUM oraz LS3D. Wprowadzono autorską modyfikację metody LUM poprzez implementację różnych technik wyznaczania najbliższych sąsiadów w tym punkt do punktu, punkt do rzutu a także wykorzystujące semantyczną dyskryminację punktów. Implementacje oparto o modyfikację istniejących rozwiązań: 3DTK oraz PCL oraz o autorską implementację wykorzystującą obliczenia równolegle z zastosowaniem biblioteki NVIDIA CUDA 7.5. Przedstawiono eksperymenty weryfikujące zasadność zastosowania poszczególnych metod biorąc pod uwagę praktyczne zastosowania.
EN
This work concerns new 6DSLAM algorithms with application of robotic mobile 3D mapping system. New architecture of 6DSLAM algorithm is designed to make possible reconfigure algorithm for different registration techniques. Algorithm is composed of iterative registration component, thus ICP (Iterative Closest Point), ICP (point to projection). ICP with semantic discrimination of points, LS3D (Least Square Surface Matching), NDT (Normal Distribution Transform) can be chosen. Loop closing is based on LUM and LS3D. New modification of LUM method is proposed, thus it is based on novel nearest neighbourhood search implementations such as point to point, point to projection, semantic discrimination of points. Implementation is based on modified 3DTK and PCL frameworks and novel parallel programming techniques using NVIDIA CUDA 7.5. Paper shows experiments that are demonstrating advantages of proposed approach in relation to practical applications.
PL
Robotyka usługowa, będąca od dłuższego czasu jednym z głównych kierunków zainteresowania robotyków na świecie, dąży do stworzenia robotów potrafiących współpracować z ludźmi bądź wyręczać ich w zadaniach poza fabrykami. W niemalże wszystkich tego typu zastosowaniach, jedną z kluczowych kwestii jest rozpoznawanie obiektów w otoczeniu robota. Dostępność pełnych, trójwymiarowych modeli tych przedmiotów znacząco poprawia jakość ich detekcji i rozpoznawania. Budowanie modeli obiektów jest dużo łatwiejsze przy zastosowaniu stolików obrotowych w celu akwizycji wielu widoków tego samego przedmiotu. W artykule przedstawiono projekt i budowę stanowiska do półautomatycznego zbierania wielu widoków obiektów.
EN
Service robotics which is now a hot topic worldwide, aims at creating robots able to cooperate with people or even do everyday tasks for them. One of the key issues in such applications is the object recognition task. Detection and recognition of such can be greatly improved, if full, three-dimensional models of objects are available. And those can be created in fast and robust way using rotators to capture multiple views of the same object. In this paper, design and construction of the smart rotator for semi-automatic acquisition of multiple object views is presented.
PL
Artykuł prezentuje zastosowanie czujnika RGB-D w systemie nawigacji robota kroczącego sześcionożnego Messor 2. Czujnik jest wykorzystywany do estymacji pozycji robota oraz do budowy rastrowej reprezentacji modelu otoczenia. W artykule przedstawiono system nawigacji robota kroczącego, w skład którego wchodzi również moduł planujący ścieżkę robota na podstawie uzyskanej mapy rastrowej, oraz moduł sterujący robotem. Wyniki działania systemu zaprezentowano na rzeczywistym robocie kroczącym. Pokazano wpływ systemu lokalizacji na jakość uzyskiwanej mapy rastrowej otoczenia.
EN
The paper presents the application of the RGB-D sensor in the navigation system of a six-legged walking robot. The RGB-D sensor is used in the SLAM subsystem to estimate pose of the robot and to build dense environment model (elevation map). The paper presents the navigation system of the robot. The system includes SLAM subsystem, mapping module, motion planner and robot's controller. The results of the experiments on the real robot are provided. The influence of the localization system on the quality of the obtained elevation map is presented.
PL
Niniejszy artykuł opisuje metodę detekcji i lokalizacji obiektów w obrazach RGB-D uzyskanych z czujnika Microsoft Kinect. W tym celu wykorzystywane są mechanizmy analizy chmur punktów zawarte w bibliotece Point Cloud Library, takie jak deskryptory VFH i CRH oraz iteracyjna metoda dokładnego dopasowania chmury punktów ICP i weryfikacji hipotezy. Wykryte i zidentyfikowane obiekty poddawane są następnie klasycznej analizie dwuwymiarowej opartej o porównanie histogramów kolorów. Zaproponowane podejście pozwala na odróżnienie obiektów o tej samej geometrii, ale innym kolorach. Niestety ze względu na stosunkowo niską jakość obrazu, próba wykorzystania deskryptorów dwuwymiarowych nie przyniosła oczekiwanych rezultatów. Efekty zaimplementowanej metody rozpoznawania i lokalizacji obiektów wykorzystywane są w procesie ich chwytania przez manipulator Scorbot-er 4u.
EN
This paper describes a method of detection and localization of objects in RGB-D images obtained from the Microsoft Kinect sensor. To this end Point Cloud Library analysts mechanisms such as VFH and CRH descriptors as well as iterative point cloud fitting algorithm ICP and hypothesis verification are used. Detected and identified objects are then subject to a classic two-dimensional analysis based on a comparison of then color histograms. The proposed approach allows to distinguish objects with the same geometry but different color. Unfortunately due to the relatively low image quality, an attempt to use two-dimensional descriptors did not bring the expected effects. The results of the implemented methods of detection and localization of objects are used in the process of their grasping by the Scorbot-er 4u manipulator.
PL
Jednym z najważniejszych tematów w badaniu deskryptorów lokalnych 3D jest wydajność obliczeniowa. Wiodącym obecnie podejściem do tematu jest używanie detektorów punktów charakterystycznych, które skutecznie ograniczają obszar, dla którego deskryptory muszą zostać obliczone. Wybór tych punktów charakterystycznych jest zadaniem nietrywialnym, mającym czasem ujemny wpływ na skuteczność detekcji obiektów. W tym artykule skupiając się na zadaniu detekcji pojedynczej klasy obiektów, zamiast detekcji punktów charakterystycznych zaproponowano hierarchiczny algorytm ograniczania uwagi: słabsze, lecz szybsze metody klasyfikacji o mniejszej sile odrzucania negatywnych obszarów wykorzystano jako heurystykę dla metod bardziej złożonych. Opracowano podstawę masowo-równoległego, otwarto-źródłowego systemu rozpoznawania obiektów, który został zastosowany do zbadania zaproponowanej metody w wymagających. realistycznych scenach wnętrza budynku
EN
One of the most important topics in the research concerning 3D local descriptors is computational efficiency. The state-of-the-art approach addressing this matter consists in using keypoint detectors that effectively limit the number of points for which the descriptors arc computed. However, the choice of keypoints is not trivial and might have negative implications, such as the omission of relevant areas. Instead, focusing on the task of single object detection, we propose a keypoint-less approach to attention focusing in which the full scene is processed in a hierarchical manner: weaker, less rejective and faster classification methods are used as heuristics for increasingly robust descriptors. We have developed a massively-parallel, open source object recognition framework, which we use to explore the proposed method on demanding, realistic indoor scenes.
PL
Niniejsza praca stanowi próbę odpowiedzi na pytanie jak różne podejścia do zagadnienia przetwarzania danych RGB-D w systemie SLAM wpływają na jakość estymowanej trajektorii ruchu sensora umieszczonego na robocie mobilnym. Na podstawie wyników badań eksperymentalnych wyciągnięto wnioski co do odporności poszczególnych rozwiązań stosowanych w systemach SLAM na problemy charakterystyczne dla różnych klas robotów oraz typów środowiska.
EN
This paper evaluates six different RGB-D localization systems in the context of the application on mobile robots. Four systems under investigation represent state of the art approaches to SLAM, and they are compared to our new approach, called PUT SLAM and a baseline visual odometry system. We identify problems related to the specific data gathered in-motion by mobile robots and demonstrate robustness and accuracy of our new approach. The SLAM systems are evaluated applying she well-established methodologies, and using data sets which are made public to ensure that our results are verifiable.
18
Content available Akwizycja obrazów RGB-D: metody
PL
Dwuczęściowy artykuł poświęcono czujnikom umożliwiającym akwizycję chmur punktów oraz map głębi. W poniższej, pierwszej części uwagę skupiono na trzech głównych metodach pomiarowych: stereowizji, świetle strukturalnym oraz pomiarze czasu lotu wiązki jako tych, które są najpowszechniej stosowane w robotyce. Poza zasadą działania każdej z metod przeanalizowano także ich właściwości, złożoność obliczeniową oraz potencjalne zastosowania.
EN
The two-part article is devoted to sensors enabling the acquisition of depth information from the environment. The following, first part concentrates on three main methods of depth measurement: stereovision, structured light and time of flight (ToF). Along with the principle of operation of each of the method we also deliberate on their properties, analyse the complexity of required computations and present potential applications.
19
Content available Akwizycja obrazów RGB-D: czujniki
PL
Dwuczęściowy artykuł poświęcono czujnikom umożliwiającym akwizycję obrazów RGB-D. W pierwszej części uwagę skupiono na metodach akwizycji, w kolejnej części dokonano przeglądu czujników, zarówno dostępnych obecnie, jak i tych, które dopiero w najbliższym czasie pojawią się na rynku.
EN
The paper constitutes the second part of the article devoted to RGB-D sensors. In the first part the attention was focused on the methods of acquisition, whereas in the following, second part we present an overview of currently available commercial sensors.
first rewind previous Strona / 1 next fast forward last
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.