Implementacja obliczania map dysparycji w czasie rzeczywistym dla strumienia wizyjnego 3D zrealizowana w układzie FPGA

• Autorzy: Kryjak T. , Komorkiewicz M.

Warianty tytułu

EN

Real-time FPGA implementation of disparity map calculation for a 3D video stream

• Języki publikacji: PL

Abstrakty

PL

W artykule opisano system umożliwiający odbieranie i przetwarzanie strumienia wideo w technologii 3D transmitowanego w standardzie HDMI (tryb side by side), co pozwala na współpracę z dostępnymi na rynku kamerami 3D. Zaproponowana architektura umożliwia implementację popularnych metod obliczania map dysparycji: m. in. SAD oraz opartych o transformatę Censusa, realizację sprawdzenia symetryczności mapy oraz filtrację medianową poprawiającą jakość wyników. W pracy omówiono budowę każdego z modułów, użycie zasobów FPGA, zużycie mocy, a także przykładowe rezultaty działania na płycie ewaluacyjnej VC707 z układem Virtex 7.

EN

In the paper a system for acquisition and processing of a 3D video stream is presented. It can work with 3D HDMI cameras available on the market. In Section 2 the basic concepts of stereovision systems are described [1]. In Section 3 three distance metrics, SAD [4], ZSAD and Census [5], used for correspondence matching are discussed. Evaluation of the matching process on the Middlebury dataset [2] is also presented. The best results were obtained for the SAD and ZSAD methods and greyscale images. In Table 1 there are shown three best configurations. Figure 1 illustrates the obtained disparity maps. A description of the hardware implementation is given in Section 4. The block diagram of the system is presented in Figure 2. The proposed solution is able to process images transmitted in side by side mode, to compute two disparity maps (left to right and right to left, method from [4]), to use SAD or ZSAD cost function, to check maps consistency and execute median filtering for final image processing. The described module is highly parameterizable: different cost functions, window sizes and disparity range can be used, image size and median filtering size can be adjusted. FPGA resource utilization is presented in Table 2. A picture of the working system is shown in Figure 3 (1280 x 720 @60 fps, real-time video-stream processing). The proposed module can be used for video surveillance, pedestrian collision avoidance systems or in autonomous vehicles.

Słowa kluczowe

PL

dysparycja; SAD; ZSAD; układy FPGA; 3D; systemy stereowizyjne; przetwarzanie obrazów

EN

FPGA devices; 3D; disparity; stereovision; real time image processing; SAD; ZSAD

• Wydawca: Wydawnictwo PAK
• Czasopismo: Pomiary Automatyka Kontrola
• Rocznik: 2013
• Tom: R. 59, nr 8
• Strony: 748--750
• Opis fizyczny: Bibliogr. 6 poz., rys., schem., tab., wzory

Twórcy

autor

Kryjak T.

• AGH Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, Wydział EAIiIB, Katedra Automatyki Biomedycznej, Al. Mickiewicza 30, 30-059 Kraków

autor

Komorkiewicz M.

• AGH Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, Wydział EAIiIB, Katedra Automatyki i Inżynierii Biomedycznej, Al. Mickiewicza 30, 30-059 Kraków

Bibliografia

• [1] Cyganek B., Siebert J. P.: An Introduction to 3D Computer Vision Techniques and Algorithms. Wiley, 2009.
• [2] Scharstein D., Szeliski R.: A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002.
• [3] Tombari, F., Gori, F., Di Stefano, L.: Evaluation of stereo algorithms for 3D object recognition. Computer Vision Workshops (ICCV Workshops), pp. 990, 997, 6-13 Nov. 2011.
• [4] Miyajima, Y., Maruyama, T.: A Real-Time Stereo Vision System with FPGA, Lecture Notes in Computer Science, Field Programmable Logic and Application, vol. 2778, pp. 448-457, 2003.
• [5] Longfield, S., Chang, M. L.: A Parameterized Stereo Vision Core for FPGAs. 17th IEEE Symposium on Field Programmable Custom Computing Machines, pp. 263-266, 2009.
• [6] Knuth D. E. The Art of Computer Programming, Volume 3: Sorting and Searching, Third Edition. Addison-Wesley, 1998. ISBN 0-201-89685-0. Section 5.3.4: Networks for Sorting, pp. 219–247.