Wyniki wyszukiwania - BazTech

1

Modern UVC stereovision camera’s calibration and disparity maps generation: mathematical basis, algorithms and implementations

Hachaj Tomasz, Mazurek Patryk

Przegląd Elektrotechniczny

|

2020

|

R. 96, nr 4

168--173

EN

This paper presents a complete and up-to-date introduction to problems of stereo camera calibration with crucial mathematical models, description of calibration procedure and proposition of evaluation of overall calibration quality. This last step is our original contribution to this subject. To practically demonstrate how the calibration procedure works, we have perform calibration of USB / UVC camera module that can be reproduce and nearly directly applied to other hardware of this type. Our visual data and source codes can be downloaded from digital repository. The subject of this article might be especially interesting to employees of research units, students, doctoral students and electrical engineers who want to get familiar with up-to-date stereovision calibration and processing procedures and who want to perform those actions on their own on popular and available hard.

PL

W tym artykule przedstawiono pełne i aktualne wprowadzenie do problematyki kalibracji kamery stereo z uwzględnieniem kluczowych modeli matematycznych, opisu procedury kalibracji i propozycji ogólnej oceny jakości kalibracji. Ostatni krok to nasz oryginalny wkład w ten temat. Aby praktycznie przedstawić proces kalibracji, przeprowadziliśmy kalibrację modelu kamery USB / UVC, który można powielić i niemal bezpośrednio zastosować w sprzęcie podobnego typu. Zarówno dane jak i kody źródłowe które użyliśmy przy tworzeniu niniejszego artykułu dostępne są w repozytorium online. Temat poruszany w artykule może być szczególnie interesujący dla pracowników jednostek badawczych, studentów, doktorantów i inżynierów, którzy chcą zapoznać się z aktualnymi procedurami kalibracji i przetwarzania stereowizji oraz którzy chcieliby wykorzystać te mechanizmy na popularnym i dostępnym sprzęcie.

2

The Use of a Stereovision System in Shape Detection of the Side Surface of the Body of the Mining Machine Working Unit

Cheluszka Piotr, Jagieła-Zając Amadeus

New Trends in Production Engineering

|

2020

|

Vol. 3, Iss. 1

251--271

EN

Ensuring the compliance of the finished product with the project during the manufacturing of cutting heads/drums of the mining machines, largely determines the efficiency of rock mining, especially hard-to-cut rocks. The manufacturing process of these crucial elements of cutting machines is being robotized in order to ensure high accuracy and repeatability. This determines, among others the need to assess in real-time the degree of the approach of pick holders positioned by the industrial robot to the side surface of the working unit of the cutting machine in their target position. This problem is particularly important when in the manufacturing process are used the bodies of decommissioned cutting heads/drums, from which old pick holders have been removed. The shape and external dimensions of these hulls, unless they are subjected to regeneration, may differ quite significantly from the nominal ones. The publication, on the example of a road header cutting head, presents the procedure for automatically identifying and indexing markers displayed on its side surface, recorded on measuring photos by two digital cameras of a 3D vision system. Experimental research of the developed method was carried out using the KUKA VisionTech vision system installed on the test stand in the robotics laboratory of the Department of Mining Mechanization and Robotization at the Faculty of Mining, Safety Engineering and Industrial Automation of the Silesian University of Technology. Data processing was carried out in the Matlab environment using the libraries of the Image Processing Toolbox. The functions provided in this library were used in the developed algorithm, implemented in the software. This algorithm allows automatic identification of markers located in the images of the side surface of the cutting head. This is the basis for determining their location in space. The publication presents a method of segmenting images recorded by cameras into homogeneous areas. The method of separating interesting areas from the image by comparison to the pattern was presented. Also shown is the method of the automatic numbering of mutually matching pairs of markers on photos from two cameras included in the vision system depending on the spatial orientation of the marker grid in the measuring images.

3

Strain Measurements in Free Tube Hydroforming Process

Sadłowska H., Morawiński Ł., Jasiński C.

Archives of Metallurgy and Materials

|

2020

|

Vol. 65, iss. 1

257--263

EN

The paper presents a method of measuring deformations of cylindrical samples on the testing machine for free tube hydroforming experiments. During experiments a sample made of a thin-walled metal tube is expanded by the internal pressure of the working liquid and additionally subjected to axial compression. This results in a considerable circumferential deformation of the tube and its shortening. Analysis of the load cases and their impact on the deformations can be helpful in determining e.g. tube material properties or general limiting conditions in the tube hydroforming process. In connection with the above, the value of deformations and knowledge of their course during experiment has become one of the most important problems related to the issue described above.

4

Metody stereowizyjne w analizie składu ziarnowego

Heyduk A.

Systemy Wspomagania w Inżynierii Produkcji

|

2017

|

Vol. 6, iss. 2

103--113

PL

Stereowizja jest jednym ze sposobów akwizycji obrazów trójwymiarowych, opartym na naśladownictwie funkcjonowania ludzkiego układu wzrokowego. W artykule przedstawiono podstawowe zasady stereowizji oraz koncepcję zastosowania tej metody do analizy powierzchniowej warstwy strumienia materiału ziarnistego na ruchomej taśmie przenośnika. Dzięki wykorzystaniu ruchu taśmy możliwa jest realizacja prostego układu stereowizyjnego z wykorzystaniem tylko jednej kamery o wysokiej rozdzielczości, wykonującej zdjęcia w krótkim odstępie czasu. Przedstawiono wyniki wstępnych badań przeprowadzonych na stanowisku laboratoryjnym. Przeanalizowano zalety i wady metod stereowizyjnych w porównaniu z innymi sposobami akwizycji obrazów trójwymiarowych. Podstawową zaletą jest mała złożoność sprzętowa i stosunkowo niski koszt oraz wysoka rozdzielczość uzyskiwanych obrazów, natomiast podstawową wadą – wysoka złożoność obliczeniowa w przypadku obrazów obejmujących dużą liczbę ziarn (drobne sortymenty), związana z koniecznością identyfikacji odpowiadających sobie punktów w sekwencji dwóch kolejnych obrazów .

EN

Stereovision is a way of three-dimensional image acquisition based on the imitating the operation of the human visual system. The article discusses basic stereovision principles and the concept of application of this method to the granulometric analysis of the surface layer of a particulate material stream on a moving conveyor belt. Through the use of of the belt movement it is possible to design a simple stereovision system with a single high resolution camera, recording two pictures within a short time interval. There have been presented some results of preliminary tests performed on a laboratory stand. There have been also described the advantages and disadvantages of stereovision methods compared with other types of three-dimensional images acquisition methods. The main advantage is a low hardware complexity, relatively low cost and high resolution of recorded images, but the main drawback - high computational complexity for images involving a large number of particles (fine granulometric classes), associated with the need to identify the corresponding points in the sequence of two successive images.

5

Methods of 3D imaging used in quality inspection systems in manufacturing

Sioma A., Kowal J., Karwat B.

Journal of Machine Construction and Maintenance - Problemy Eksploatacji

|

2017

|

no. 1

9--17

EN

This paper presents a review of methods used for the acquisition of 3D images. A classification of such methods into contact and contactless and into active and passive methods is given. Special attention is given to show imaging methods that can be used for tasks involving product-manufacturing systems.

PL

W artykule zaprezentowano przegląd metod wykorzystywanych w akwizycji obrazów 3D. Przedstawiono klasyfikację tych metod z podziałem na metody kontaktowe i bezkontaktowe, aktywne oraz pasywne. Szczególną uwagę poświęcono metodom obrazowania, które mogą być stosowane w procesach wytwarzania produktów.

6

Wykrywanie zdarzeń w monitoringu CCTV z wykorzystaniem technologii 3D

Balcerek J., Pawłowski P., Dąbrowski A., Konieczka A.

Elektronika : konstrukcje, technologie, zastosowania

|

2017

|

Vol. 58, nr 10

31--34

PL

W referacie przebadano rozpoznawanie istotnych szczegółów w wybranych scenach z monitoringu CCTV przez niewytrenowanych i wytrenowanych operatorów wspomaganych techniką stereowizyjną. Wykazano, że stereowizyjna akwizycja i wizualizacja scen pozwala dodać istotne informacje, które nie są możliwe do pozyskania bezpośrednio z obrazów 2D. Przebadano szacowanie odległości między obiektami, w tym pomiędzy ludźmi, podczas obserwacji stereowizyjnej. W trybie 3D jest ono, w większości przypadków, o wiele lepsze niż w trybie monoskopowym. Udowodniono, że stereowizja może również pomóc w oszacowaniu trajektorii i relacji pomiędzy poruszającymi się obiektami. Zautomatyzowane obrazowanie 3D poprawia dokładność i szybkość manualnej analizy typowych sytuacji występujących w systemach CCTV. Wyniki badań wskazują, że wprowadzenie efektu stereowizyjnego pozwala na lepsze niż w przypadku obrazów 2D rozpoznawanie zagrożeń przez operatora monitoringu wizyjnego i może być oferowane jako cenna opcja w systemach monitoringu.

EN

This paper presents an analysis of recognition accuracy of typical CCTV scenes watched by untrained as well as by trained viewers (e.g. CCTV operators) supported by the stereovision technique. The 3D acquisition and visualization allows to perceive important details of the scene view, which are not seen in the case of 2D imaging. The authors experimentally checked estimation of distances between objects and people in 3D imaging. In this mode the accuracy was better than for 2D observations. Moreover it was proven that the stereovision can help in estimation of intersecting trajectories and relations between moving objects. It can also improve accuracy and speed of manual analysis of typical cases form CCTV. The proposed 3D imaging could be an important option for operators of the monitoring systems.

7

Zastosowanie sieci neuronowych typu Hopfielda w diagnostyce nawierzchni drogowych

Staniek M.

Czasopismo Inżynierii Lądowej, Środowiska i Architektury / Journal of Civil Engineering, Environment and Architecture

|

2016

|

z. 63, nr 1/II

323--330

PL

Artykuł dotyczy zagadnień diagnostyki nawierzchni drogowych z wykorzystaniem metod przetwarzania obrazów cyfrowych wspomaganych zastosowaniem sieci neuronowej typu Hopfielda w procesie wzajemnego dopasowania pikseli pary obrazów nawierzchni drogi. Para obrazów rejestrowana z wykorzystaniem stereowizyjnego mobilnego stanowiska pomiarowego, opracowanego przez autora, definiowana jest jako stereo-obraz drogi. W artykule opisano ograniczenia rozwiązań stereowizyjnych oraz przedstawiono problem niejednoznaczności dopasowania dla obszarów o jednakowej intensywności. Określono problem obiektów przesłaniających się w polu widzenia kamer, zidentyfikowano ograniczenia ciągłości wynikające z nagłej zmiany funkcji intensywności obrazów, oraz zwrócono uwagę na typowe ograniczenia związane z przetwarzaniem i rozpoznawaniem obrazów cyfrowych. Podczas implementacji sieci neuronowej zdefiniowano kryteria, których minimalizacja jako składowych funkcji energii pozwoliła na uzyskanie optymalnego dopasowania pikseli stereo-obrazów, tym samym właściwego odwzorowania nawierzchni drogowej. Do rozwiązania zadania optymalizacji wielokryterialnej zaproponowano kryteria maksymalizacji i jednoznaczności dopasowania pikseli oraz kolejności przyporządkowania sekwencji pikseli w obu stereo-obrazach, a także kryterium ciągłości mapy dysparycji. Opis matematyczny składowych energii sieci neuronowej określono w artykule. Ocenę zastosowania sieci neuronowej zdefiniowano jako różnicę pomiędzy pomiarami głębi z wykorzystaniem sieci neuronowej oraz bez jej zastosowania. Do oceny zaproponowanego rozwiązania przeprowadzono pomiary z wykorzystaniem mobilnego stanowiska stereowizyjnego, które porównano z pomiarami statycznymi z wykorzystaniem skanowania laserowego w zdefiniowanych przekrojach pomiarowych drogi. Zastosowana sieć neuronowa typu Hopfielda pozwoliła na zwiększenie liczby pikseli poprawnie przypisanych w procesie dopasowania pikseli stereo-obrazów. Zwiększyło to tym samym precyzję odwzorowania nawierzchni drogowej, tym samym oceny jest stanu.

EN

The paper presents an attempt to use Hopfield neural network in process of matching pixels of stereo-images recorded during road pavement diagnosis by vehicle equipped with stereo vision test-bench, developed by author of the paper. The paper describes the limitations of stereo vision solutions and presents the problem of ambiguity matching for the areas of equal intensity. The problems of obscuration objects in the camera view and continuity constraints of resulting from a sudden change in intensity function of images are presented. Typical limitations associated with the techniques of processing and recognition of digital images are highlighted. During the implementation of the neural network the constituents of energy function (criteria of optimization) were defined, what allow for optimum matching pixels of stereo-images, thus the mapping process of road surface is proper. To solve multi criteria optimization problem, the followings criteria were proposed: maximize and uniqueness of matching pixels and order assignment sequence of pixels in both stereo-images, as well as continuity of disparity map. The mathematical description of energy constituents of the neural network was determined in the article. Evaluation of the application neural network was defined as difference between the depth measurements using neural network and without its use. For evaluation of the proposed solution, the measurements using a stereo vision test-bench were performed and were compared with measurements using a laser scanning in selected measurement sections on road. Used of Hopfield neural network allows to increase the number of pixels correctly assigned on stereo-images in the matching process what increase the mapping precision of the road surface, thereby evaluation of road conditions.

8

Application of 3D scanning techniques for large-scale objects manufactured on CNC welding machine

Grudziński M., Okarma K., Pajor M., Tecław M.

Advances in Manufacturing Science and Technology

|

2016

|

Vol. 40, nr 4

15--32

EN

The modern CNC machines and applied advanced manufacturing technologies allow to enable fast accurate and elastic production, supporting the operator. At the same time the so called machine vision systems become more and more significant. Particular group of such devices, called 3D scanners, can achieve the accuracy of modern CNC machines and allow to control the quality of manufactured objects within less than one minute. In this research work a prototype of the vision scanning system for measuring the hole geometry is presented. The proposed optical device will be integrated with the IMCM machine, produced by Promotech company for large-scale objects welding. Reconstruction of the distorted edge will allow to correct the tool path for welding and edge beveling. A number of advanced procedures for image acquisition and processing, structured lights techniques, as well as 3D reconstruction have been developed and tested. Moreover, the calibration procedures for cameras with the help of coded markers have been proposed and simple interface for the operator has been created. Estimation of environmental factors, markers recognition and illuminating conditions for the final quality of reconstructed geometry required a series of complex experiments.

PL

Nowoczesne rozwiązania mechatroniczne, stosowane do maszyn wytwórczych, w coraz większym stopniu wspomagają operatora i umożliwiają przyspieszenie produkcji. Jednocześnie coraz większe znaczenie odgrywają układy tzw. wizji maszynowej i różne rodzaje optycznych urządzeń pomiarowych. Skanery 3D osiągnęły dokładność umożliwiającą np. kontrolę jakości na maszynach CNC – czas pomiaru ich geometrii < 1 min. W pracy przedstawiono analizę wyników badań i prototypowe urządzenie optyczne do pomiaru geometrii otworów wycinanych w wielkogabarytowych konstrukcjach stalowych. Zaproponowany skaner 3D, zainstalowany na portalowej spawarce IMCM firmy Promotech, umożliwi szybkie skanowanie zniekształconych krawędzi i przekształcenie jej w trajektorię ruchu narzędzia spawającego. Zaprogramowano zaawansowane procedury przetwarzania obrazów, technik oświetlenia strukturalnego i rekonstrukcji 3D. Zaproponowano procedury kalibracji z użyciem markerów kodowanych oraz interfejs operatora z wizualizacją procesu pomiarowego. Wykonano eksperymenty mające na celu ocenę wpływu otoczenia, rodzaju oświetlenia i rozmiarów przestrzeni pomiarowej na dokładność odwzorowania geometrii.

9

Motion capture using multiple Kinect controllers

Kopniak P.

Przegląd Elektrotechniczny

|

2015

|

R. 91, nr 8

26--29

PL

Artykuł opisuje proces budowy systemu akwizycji ruchu (ang. motion capture) z wykorzystaniem kontrolerów Microsoft Kinect 360 i Kinect One. Przedstawiono w nim sposób użycia kilku kontrolerów równolegle i sposób wykorzystania darmowych szkieletów programistycznych do stworzenia oprogramowania do rejestracji ruchu. Artykuł zawiera wyniki porównania systemów akwizycji ruchu wykorzystujących jeden oraz dwa kontrolery jednocześnie oraz wskazuje ścieżki przyszłego rozwoju systemu.

EN

The following paper describes the process of developing a motion capture system with the use of Microsoft Kinect 360 and Kinect One controllers. The article presents how to use multiple Kinect controllers parallely and how to employ the existing freeware programming frameworks to produce an appropriate motion capture software. The article shows the results of comparison of single and multiple Kinect motion capture systems. The summary of this study will collect the research results and include some suggestions for the future development of this motion capture system.

10

Optical Tracking System

Korak G., Kucera G.

International Journal of Electronics and Telecommunications

|

2015

|

Vol. 61, No. 2

165-170

EN

The presented optical tracking system allows intuitive controlling and programming of industrial robots by demonstration. The system is engineered with low cost components. Using an active marker (IR-LEDs) in combination with a stereo vision configuration of the camera system and the selection of suitable algorithms for the process chain of the image processing a positioning accuracy in the range of millimeters has been achieved. The communication between the tracking system and the robot is realized by using the TCP/IP protocol via an Ethernet connection.

11

Self-Correcting Neural Network for Stereo-matching Problem Solving

Laskowski L., Jelonkiewicz J.

Fundamenta Informaticae

|

2015

|

Vol. 138, nr 4

457--482

EN

In the present paper we describe innovative architecture of artificial neural network based on Hopfield structure - Self Correcting Neural Network (SCNN). It is implementation similar to dual mode Hopfield-like network for solving stereo matching problem. Considered network consists of basic layer of neurons implemented as analogue Hopfield-like network and supervising layer. Thanks to the supervising layer, there is a possibility of modification of the connection weights between the neurons in the basic layer. This enables the improvement of the network performance (accuracy). Authors propose a depth map use for image segmentation and objects auto-selection. High enough accuracy of these processes can be achieved when proposed network (SCNN) is applied. Similar idea can be applied also for images noise removal. In the present article we also describe in detail neurons dynamics in the basic and supervising layers of the SCNN. The network considered here was a subject of experimental tests using real stereo pictures as well as simulated stereo images. This enabled calculation of error and direct comparison with classic analogue Hopfield neural network.

12

Stereovision System for 3D Analysis of the Geometrical Properties of Fabrics

Więcek P., Polipowski M., Więcek B.

Fibres & Textiles in Eastern Europe

|

2015

|

Vol. 23, no. 1 (109)

61--67

EN

In this paper, a stereovision system for measuring the geometrical properties of fabrics is presented. Measurement of the parameter of spacings between the yarns is the main application of the system proposed. The algorithms implemented are described in detail which explain how one can measure the area of the front of the spacing as well as its orientation in a 3D space. The calibration procedure, using a specially prepared calibrator, is outlined. An accuracy analysis is presented both for the area and angle measurements. Exemplary results of measuring the areas and angles for 100 spacings between the yarns are presented in the form of histograms and tables.

PL

W pracy przedstawiono stereowizyjny system do pomiaru właściwości geometrycznych tkanin. Głównym zastosowaniem proponowanego systemu jest pomiar parametrów prześwitów międzynitkowych. Praca zawiera szczegółowy opis wykorzystanych algorytmów przetwarzania geometrycznego, który wyjaśnia zasadę pomiaru pola powierzchni oraz orientacji kanału w przestrzeni 3D. Przedstawiono procedurę kalibracji systemu przy użyciu opracowanego kalibratora. Przeprowadzono analizę niepewności pomiaru zarówno dla pola powierzchni jak i kąta orientacji kanału. Wykonano wstępne badania eksperymentalne dla 100 prześwitów międzynitkowych i wyniki zaprezentowano w formie histogramów i tabel.

13

Akwizycja obrazów RGB-D: metody

Stefańczyk M., Kornuta T.

Pomiary Automatyka Robotyka

|

2014

|

R. 18, nr 1

82--90

PL

Dwuczęściowy artykuł poświęcono czujnikom umożliwiającym akwizycję chmur punktów oraz map głębi. W poniższej, pierwszej części uwagę skupiono na trzech głównych metodach pomiarowych: stereowizji, świetle strukturalnym oraz pomiarze czasu lotu wiązki jako tych, które są najpowszechniej stosowane w robotyce. Poza zasadą działania każdej z metod przeanalizowano także ich właściwości, złożoność obliczeniową oraz potencjalne zastosowania.

EN

The two-part article is devoted to sensors enabling the acquisition of depth information from the environment. The following, first part concentrates on three main methods of depth measurement: stereovision, structured light and time of flight (ToF). Along with the principle of operation of each of the method we also deliberate on their properties, analyse the complexity of required computations and present potential applications.

14

Wizualizacja obrazu stereowizyjnego w systemie VISROBOT

Kowalczuk Z., Merta T.

Pomiary Automatyka Kontrola

|

2014

|

R. 60, nr 10

803--808

PL

Proponując nowe podejście do wizji robotyckiej, opisuje się system, którego zadaniem jest wizualizacja obrazu stereo dla operatora robota. Pomysł ten zasadza się na inteligentnym wykorzystaniu zmiennej bazy stereo, która pozwala na zwiększenie zakresu rozdzielczości głębi obrazu dla obiektów odległych. Na podstawie obrazu stereo, przy zmiennej bazie stereo, wyznaczana jest mapa dysparycji. Odpowiednio przeprowadzona wizualizacja (zakresu) dysparycji umożliwia poprawne postrzeganie głębi w obrazie stereoskopowym dostarczanym ludzkiemu operatorowi.

EN

The article describes a novel approach to robotic vision in mobile robotic systems. The task of such a system is to visualize a stereo image properly for an operator. The system uses different stereo baseline values. Variable baseline can result in increasing depth resolution for distant objects. We assume that the robot works in a static environment. Variable baseline stereo imaging is realized based on the submission of images taken from different robot's placements. A disparity map is determined with the use of various baselines. Visualization of the disparity extent allows making a stereoscopic picture that ensures a proper perception of the depth.

15

Analiza wymagań pamięciowych dla podstawowej jednostki obliczeniowej w sprzętowej implementacji algorytmu dopasowania stereo typu „semiglobal”

Roszkowski M., Pastuszak G.

Elektronika : konstrukcje, technologie, zastosowania

|

2014

|

Vol. 55, nr 3

38-42

PL

Stereowizja jest od wielu lat jedną z intensywnie badanych dziedzin wizji komputerowej, ze względu na to że umożliwia stworzenie trójwymiarowego modelu sceny obserwowanej przy pomocy dwóch zwykłych kamer wideo. Jednakże większość algorytmów opisanych w literaturze działa wolno i nie jest łatwa w dostosowaniu do implementacji w czasie rzeczywistym w układach cyfrowych. Wśród metod uważanych za możliwe do implementacji w czasie rzeczywistym są algorytmy z grupy optymalizacji typu „semiglobal”, jednakże ich wadą jest duża złożoność pamięciowa. Artykuł ten wyjaśnia dlaczego jest to problemem w układach FPGA, zwłaszcza tych nisko-budżetowych, a także przedstawia propozycje możliwych rozwiązań. W szczególności zaprezentowany jest sposób wymiany ilości potrzebnej pamięci na zasoby obliczeniowe poprzez podział obrazu na bloki, z oszacowaniem o ile wzrośnie rozmiar układu w strukturze FPGA przy zastosowaniu zaproponowanych metod.

EN

Stereovision is one of the most intensively studied areas of the computer vision. One of the reasons is that it enables the creation of a 3D model of a scene acquired with just two common optical cameras. There are many stereo algorithms described in the literature, but most of them are not suitable for real time hardware implementations. One of the groups of algorithms generally considered to be implementable in hardware are “semiglobal” algorithms. However, high memory requirements are one of their drawbacks. In this article, we try to explain why it is a problem in the case of low cost FPGAs and present a solution that tries to remedy it. In particular, it is shown that it is possible to significantly lower the memory requirements by dividing an image into blocks, but at the cost of the increased module size.

16

Stereoskopowe wyznaczanie głębi z wykorzystaniem układu logicznego FPGA

Owczarek M., Barański P.

Przegląd Elektrotechniczny

|

2013

|

R. 89, nr 10

118-121

PL

W pracy opisano system stereowizyjny składający się z kamer cyfrowych i uniwersalnego układu logicznego FPGA. Wyznaczanie mapy głębi ze stereoskopii wymaga dużego nakładu obliczeń. Obliczenia te po odpowiednim zrównolegleniu zrealizowano w układzie FPGA. Uzyskana szybkość wyznaczania map głębi o rozmiarze 600×800 punktów wynosi 24 obrazy na sekundę. Celem badań jest odpowiednie połączenie podejścia wykorzystującego układy programowalne i implementację programową algorytmów filtracji.

EN

A stereovision system consisting of digital cameras and FPGA device is described in the paper. Computation of depth maps demands large number of computations. These computations after appropriate decomposition were mapped onto the FPGA device. The achieved frame rate of the computed 600×800 pixels’ depth images is 24 fps. The aim of the study is to find an optimum trade-off between hardware and software implementations of the depth estimation algorithms from stereoscopy.

17

A novel approach for automation of stereo camera calibration process

Garbacz P., Mizak W.

Pomiary Automatyka Robotyka

|

2013

|

R. 17, nr 2

234-238

EN

The problem of stereo camera calibration has been studied for over many years by numerous researchers. A crucial task in this process is to discover the transformation between 3D world coordinates and 2D pixel image coordinates of image. The growth of the number of diaerent applications of stereovision systems has led to specialization of developed calibrations algorithms. Nowadays, various calibration objects and self-calibration techniques are used. This paper presents a unique automatic calibration system for a stereovision system for inspection of specimen surface under fatigue tests. In order to allow analysis of surface in both a micro and macro scale, the system has been equipped with cameras with motorized focus and zoom lenses. The proposed calibration system is based on mechatronic framework which allows the use of a set of 2D plane calibration targets with varying size of region of interest. Such a solution allows automation of calibration process and guarantees repeatability of results with an assumed error.

PL

Zagadnienie kalibracji kamer w systemach stereowizyjnych było w ostatnich latach podejmowane przez wielu badaczy. Głównym celem tego procesu jest wyznaczenie transformacji pomiędzy współrzędnymi 3D punktów w układzie globalnym i odpowiadającymi im współrzędnymi pikselowymi 2D na płaszczyźnie obrazowania kamer. Coraz większa liczba obszarów, w których zastosowanie znajdują systemy stereowizyjne, doprowadziła do specjalizacji wykorzystywanych w nich metod kalibracji kamer. Aktualnie stosowane są różnorodne wzorce kalibracyjne, a także metody samokalibracji kamer. W artykule przedstawiony został autorski zautomatyzowany system kalibracji kamer dedykowany dla systemu stereowizyjnego, umożliwiającego monitorowanie procesów destrukcji materiałów na maszynie wytrzymałościowej. Dla zapewnienia możliwości przeprowadzenia badań zarówno w skali mikro jak i makro, system ten wyposażony jest w zmotoryzowane obiektywy, umożliwiające regulację zbliżenia i ostrości. Prezentowany system kalibracji poprzez zastosowanie mechatronicznego układu pozycjonowania oraz odpowiedniego typoszeregu wzorców płaskich, zapewnia kalibrację kamer w pełnym zakresie obserwacji. Rozwiązanie to umożliwia automatyzację oraz gwarantuje powtarzalność procesu kalibracji.

18

Procedury rekonstrukcji scen trójwymiarowych ze stereoskopii

Rzeszotarski D.

Pomiary Automatyka Kontrola

|

2013

|

R. 59, nr 9

977--980

PL

W niniejszym artykule przedstawiono nową procedurę rekonstrukcji scen trójwymiarowych na podstawie pary współrzędnych obrazowych obserwowanych punktów. Zaproponowaną procedurę odniesiono do istniejących rozwiązań. Przeprowadzono również analizę wpływu parametrów orientacji wzajemnej między kolejnymi położeniami kamery na dokładność rekonstrukcji. Zaprezentowano wyniki rekonstrukcji syntetycznych punktów uzyskanych przy pomocy opracowanej aplikacji modelującej ruch kamery.

EN

In this paper a new procedure for reconstruction of 3D scenes is presented. It is an extension of the method presented in [6], in which 3D reconstruction is performed by means of a 4×4 re-projection matrix on a pair of rectified stereo images. Here the 4×4 re-projection matrix is extended to general motion between two cameras or one moving camera constituting a stereoscopic set. First, the proposed reconstruction algorithm from the stereoscopic set of images is explained in detail. Two different approaches are compared: two cameras approach against a single moving camera case (Fig. 1). Next 4×4 re-projection matrix is derived for the general motion case. In Section 3 there is presented a method for evaluating the influence of camera motion parameters on the value of a 3D coordinate depth component of the reconstructed points by means of an extended reprojection matrix. Section 4 contains the results obtained by means of a special application designed for modeling motion of the camera and projection of test points used for evaluating the presented method (Fig. 2). In Fig. 3 there are defined the motion parameters used for evaluating the relation between the camera motion and the depth component estimation. Plots in Figs. 4, 5 show a dependence of the depth component value and its derivative, respectively, on the angle between x and z components of the translation vector for different camera frame rotation angles. Plots in Figs. 6, 7 present a dependence of the depth component value and its derivative, respectively, on the horizontal disparity for different camera frame rotation angle. The obtained results show that introducing rotation between cameras in a stereoscopic set can enhance the depth evaluation. The extended reprojection matrix includes, in a closed form, all necessary parameters for 3D scenes reconstruction.

19

Implementacja obliczania map dysparycji w czasie rzeczywistym dla strumienia wizyjnego 3D zrealizowana w układzie FPGA

Kryjak T., Komorkiewicz M.

Pomiary Automatyka Kontrola

|

2013

|

R. 59, nr 8

748--750

PL

W artykule opisano system umożliwiający odbieranie i przetwarzanie strumienia wideo w technologii 3D transmitowanego w standardzie HDMI (tryb side by side), co pozwala na współpracę z dostępnymi na rynku kamerami 3D. Zaproponowana architektura umożliwia implementację popularnych metod obliczania map dysparycji: m. in. SAD oraz opartych o transformatę Censusa, realizację sprawdzenia symetryczności mapy oraz filtrację medianową poprawiającą jakość wyników. W pracy omówiono budowę każdego z modułów, użycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania na płycie ewaluacyjnej VC707 z układem Virtex 7.

EN

In the paper a system for acquisition and processing of a 3D video stream is presented. It can work with 3D HDMI cameras available on the market. In Section 2 the basic concepts of stereovision systems are described [1]. In Section 3 three distance metrics, SAD [4], ZSAD and Census [5], used for correspondence matching are discussed. Evaluation of the matching process on the Middlebury dataset [2] is also presented. The best results were obtained for the SAD and ZSAD methods and greyscale images. In Table 1 there are shown three best configurations. Figure 1 illustrates the obtained disparity maps. A description of the hardware implementation is given in Section 4. The block diagram of the system is presented in Figure 2. The proposed solution is able to process images transmitted in side by side mode, to compute two disparity maps (left to right and right to left, method from [4]), to use SAD or ZSAD cost function, to check maps consistency and execute median filtering for final image processing. The described module is highly parameterizable: different cost functions, window sizes and disparity range can be used, image size and median filtering size can be adjusted. FPGA resource utilization is presented in Table 2. A picture of the working system is shown in Figure 3 (1280 x 720 @60 fps, real-time video-stream processing). The proposed module can be used for video surveillance, pedestrian collision avoidance systems or in autonomous vehicles.

20

Real time area-based stereo matching algorithm for multimedia video devices

Hachaj T., Ogiela M. R.

Opto-Electronics Review

|

2013

|

Vol. 21, No. 4

367-375

EN

In this paper we investigate stereovision algorithms that are suitable for multimedia video devices. The main novel contribution of this article is detailed analysis of modern graphical processing unit (GPU)-based dense local stereovision matching algorithm for real time multimedia applications. We considered two GPU-based implementations and one CPU implementation (as the baseline). The results (in terms of frame per second, fps) were measured twenty times per algorithm configuration and, then averaged (the standard deviation was below 5%). The disparity range was [0,20], [0,40], [0,60], [0,80], [0,100] and [0,120]. We also have used three different matching window sizes (3×3, 5×5 and 7×7) and three stereo pair image resolutions 320×240, 640×480 and 1024×768. We developed our algorithm under assumption that it should process data with the same speed as it arrives from captures’ devices. Because most popular of the shelf video cameras (multimedia video devices) capture data with the frequency of 30Hz, this frequency was threshold to consider implementation of our algorithm to be “real time”. We have proved that our GPU algorithm that uses only global memory can be used successfully in that kind of tasks. It is very important because that kind of implementation is more hardware-independent than algorithms that operate on shared memory. Knowing that we might avoid the algorithms failure while moving the multimedia application between machines operating different hardware. From our knowledge this type of research has not been yet reported.