W pracy opisano system stereowizyjny składający się z kamer cyfrowych i uniwersalnego układu logicznego FPGA. Wyznaczanie mapy głębi ze stereoskopii wymaga dużego nakładu obliczeń. Obliczenia te po odpowiednim zrównolegleniu zrealizowano w układzie FPGA. Uzyskana szybkość wyznaczania map głębi o rozmiarze 600×800 punktów wynosi 24 obrazy na sekundę. Celem badań jest odpowiednie połączenie podejścia wykorzystującego układy programowalne i implementację programową algorytmów filtracji.
EN
A stereovision system consisting of digital cameras and FPGA device is described in the paper. Computation of depth maps demands large number of computations. These computations after appropriate decomposition were mapped onto the FPGA device. The achieved frame rate of the computed 600×800 pixels’ depth images is 24 fps. The aim of the study is to find an optimum trade-off between hardware and software implementations of the depth estimation algorithms from stereoscopy.
The paper describes a prototypical stereovision system with active vergence and gaze control mechanism. The model and mechanical construction enable the accurate positioning of cameras. Increase in the measurement resolution of the binocular vergence angle in the selected range of depth is specified. The vergence control mechanism uses a kinematic chain with 3-DOF joints. In order to obtain a linear characteristic of the measurement system, there was performed the optimisation process of the kinematic chain parameters.
PL
W artykule przedstawiony jest opis prototypowego układu stereo-wizyjnego z aktywnym systemem zmiany kąta widzenia oraz zbieżności osi optycznych kamer. Zmiana kąta zbieżności osi optycznych kamer wraz z obrotem głowicy umożliwia koncentrację systemu na pewnym, dowolnie wybranym obiekcie w rzeczywistej przestrzeni trójwymiarowej. Prowadzi do nałożenia pól widzenia obu kamer i niewielkich wartości dysparycji bliskich zeru dla wybranego, śledzonego obiektu umożliwiając szybką segmentację obrazu. Zaprezentowano model oraz konstrukcję mechaniczną umożliwiającą dokładne pozycjonowanie kamer, a także zwiększenie rozdzielczości pomiarowej kąta zbieżności w wybranym przedziale mierzonej głębi. W mechanizmie kontroli zbieżności osi optycznych kamer zastosowano łańcuch kinematyczny wykorzystujący złącza o trzech stopniach swobody, a następnie dokonano optymalizacji parametrów tego łańcucha tak, aby zapewnić możliwie linową charakterystykę przetwarzania układu pomiarowego.
W artykule przedstawiony został opis prototypowego układu stereowizyjnego z aktywnym systemem zmiany kąta zbieżności osi optycznych kamer. Zaprezentowano model oraz konstrukcje mechaniczną umożliwiającą dokładne pozycjonowanie kamer, a także zwiększenie rozdzielczości pomiarowej kąta zbieżności w wybranym przedziale głębi.
EN
The article describes the prototype stereovision system with active vergence and gaze control mechanism. The model and mechanical construction enabling the accurate positioning of cameras, as well as increasing the measuring resolution of the vergence angle of a binocular system have been also specified.
W artykule przedstawiono wyniki działania aplikacji dokonującej aktualizacji mapy otoczenia robota mobilnego na podstawie obrazu stereowizyjnego. Przedstawiono podstawy teoretyczne i pojęcia związane z przetwarzaniem obrazów stereowizyjnych. Wyjaśniono pojęcie dysparycji, a także zaprezentowano interfejs użytkownika i parametry wydajnościowe programu.
EN
The paper presents application that reconstructs neighbourhood of mobile robot based on analysis of stereovision image. Theoretical backgrounds of stereovision image processing were presented. Concept of disparity was explained. Graphical user interface as well as performance issues of designed application were presented.
W pracy przedstawiono istotę działania i wstępna ocenę dokładności prototypowego cyfrowego systemu stereowizyjnego, który stanowi podstawę konstrukcji urządzenia wspomagającego osobę niewidoma w percepcji otoczenia (projekt badawczy realizowany w Instytucie Elektroniki Politechniki Łódzkiej). W prototypowej wersji systemu zastosowano 2 kolorowe kamery cyfrowe Flea® firmy Point Grey (rozdzielczość 1024×768, interfejs IEEE 1394), wyposażone w obiektywy Ernitec f = 3.5 mm. Kalibracja kamer została przeprowadzona za pomocą programu wspomaganego biblioteką OpenCV (Intel® Open Source Computer Vision Library). Proces automatycznego wyznaczenia gęstej mapy dysparycji (mapy paralaks podłu_nych) został wsparty algorytmem dopasowującym obszary (winx×winy - okno korelacji). Zastosowana miara podobieństwa jest suma wartości bezwzględnych różnic SAD (Sum of Absolute Differences), obliczana technika „przesuwanych okien” (sliding window). Poszukiwanie wiarygodnych minimów miary SAD jest wykonywane w czterech krokach przez znalezienie minimum globalnego SADmin oraz trzech najmniejszych wartości SAD1 < SAD2 < SAD3. Za pomocą mapy dysparycji i parametrów orientacji zewnętrznej modelu (macierze przekształcenia MR , ML) wyznaczane są współrzędne 3D sceny. Algorytm segmentacji sceny 3D realizuje w trybie iteracyjnym detekcje płaszczyzn oraz obiektów „przeszkód”. Procedura akwizycji obrazów cyfrowych, generowanie mapy dysparycji i segmentacji zostały zaimplementowane na platformie procesora sygnałowego DSP (Digital Signal Processor). Ocenę dokładności systemu wykonano na podstawie stereopar zdjęć cyfrowych (baza zdjęć B = 80.75 mm) dwóch przestrzennych pól testowych. Współrzędne 3D punktów zostały wyznaczone na podstawie wygenerowanej gęstej mapy dysparycji (okno korelacji wyniosło 25×25pikseli). Algorytm dysparycji wykrył średnio ca 72 % sygnalizowanych punktów kontrolnych. Średnia odchyłka kwadratowa dla współrzędnych 3D w układzie współrzędnych systemu stereowizyjnego wyniosła _XYZ = ±39.6 mm (test 1) oraz _XYZ = ±124.1 mm (test 2). Średnia odchyłka kwadratowa dla współrzędnych X, Y, Z po transformacji 3D do układu obiektu wyniosła _XYZ = ±72 mm (test 1) oraz _XYZ = ±74 mm (test 2).
EN
The prototype of digital stereovision system is presented along with its procedures, main parts and its accuracy evaluation. The presented system is a prototype for vision module in electronic travel aid device for the blind, being designed and developed in Institute of Electronics in Technical University of Lodz. The system consists of two Flea type Point Grey digital cameras (resolution of 1024×768, IEEE 1394 interface) and Ernitec f = 3.5 mm objective). The cameras calibration was performed by means of the software using OpenCV library (Intel® Open Source Computer Vision Library). The process of automatic computation of dense disparity maps was performed by the stereo matching local algorithm (with correlation window of a given size). The measure of similarity is defined as a sum of absolute differences (SAD) between pixels form windows surrounding the compared pixels. The SAD values are calculated with the use of sliding window method in order to obtain real time speed of dense disparity maps computation. The procedure of finding rob ust minimum SAD values consists of four steps: searching for global minimum value SADmin and three other smallest values SAD1 < SAD2 < SAD3. The 3D scene coordinates are calculated by means of disparity map values and model exterior orientation parameters (transformation matrices MR , ML). 3D scene segmentation algorithm detects planes and surrounding objects, obstacles. The digital images acquisition, disparity and segmentation map generation are implemented on the DSP (Digital Signal Processor) platform. The accuracy of the system is evaluated by analysing stereo pairs of digital pictures of two different 3D test fields. The base line of stereoscopic set of cameras used in the system was B = 80.75 mm. 3D coordinates were computed by means of dense disparity map values (search window of the matching algorithm was of the size 25×25 pixels) The average effectiveness of signalised check points detection by disparity algorithm was 72 %. RMSE for 3D object coordinates in the stereovision system was _XYZ = ±39.6 mm (test 1) and _ XYZ = ±124.1 mm (test 2). RMSE for X,Y,Z coordinates after 3D transformation into the object coordinates system was _XYZ = ±72 mm (test 1) and _XYZ = ±74 mm (test 2).
W pracy opisano podstawy stereowizyjnych metod rekonstrukcji sceny trójwymiarowej. Przedyskutowano podstawowe algorytmy wyznaczania głębi obrazu oraz zagadnienia korekcji zniekształceń geometrycznych układów optycznych oraz kalibracji kamer. Opisano oryginalną konstrukcję systemu stereowizyjnego, który umożliwia wyznaczanie map głębi z prędkością 5 ramek/sek. dla obrazów o rozdzielczości 256×192 punkty. Scharakteryzowano też podstawowe parametry metrologiczne systemu oraz zamieszczono przykładowe wyniki obliczeń.
EN
A stereo-vision system for 3D reconstruction of image sequences is presented. First fundamentals of stereo matching algorithms and basic definitions of stereo projection equations, epipolar geometry, intrinsic and extrinsic geometric camera parameters are given. Then the algorithms for correction of geometric distortions and camera rectification techniques are explained. Mechanical construction of the stereovision head for precise positioning of stereo camera system is also described. A more detailed discussion is devoted to block stereomatching algorithms based on the Sum of Absolute Differences (SAD) criterion for calculation of dense disparity maps. Results for 3D reconstruction of image sequences are given that illustrate the need for image preprocessing before running the stereo block matching algorithm. The worked out software that was written in C++ compiler enables close to real time computation of the disparity map sequences. The rate of 5 frames/sec for 256x192 digital images were achieved on a Pentium IV 2GHz PC. The developed stereovision system serves as a testing bench for the project aimed at designing a prototype travel aid device for the blind.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.