Sprzętowa realizacja fuzji obrazów metodą piramidy Laplace'a w systemach nadzoru i diagnostyki

• Autorzy: Antoniewicz A. , Jamrozik W. , Kondej M. , Putz B.

Warianty tytułu

EN

Hardware realization of the image fusion by Laplacian pyramid method in supervisory and diagnostic systems

• Języki publikacji: PL

Abstrakty

PL

Wiele współczesnych systemów nadzoru, monitorowania otoczenia czy diagnostyki procesów przemysłowych korzysta z optycznej kontroli powiązanej z akwizycją obrazów pochodzących z różnych źródeł. W artykule przedstawiono sposób implementacji w układzie FPGA przykładowego systemu diagnostycznego opartego na algorytmie fuzji obrazów metodą piramidy Laplace'a. System korzysta z dwóch kamer obserwujących ten sam obiekt (kamery termowizyjnej i kamery światła widzialnego) i działa w czasie rzeczywistym.

EN

Many supervisory, monitoring and diagnostics systems need to acquire and analyze multisensor visual information, for example two video sequences from TV and thermal (IR) camera. Thus, an image fusion algorithm [1-6] is necessary if we want to have one common image containing details of both input images. The paper presents a hardware implementation of the Laplacian pyramid algorithm ([1, 7], Fig. 1-3) for image fusion. Prior image registration is necessary, which is presented by the authors in other paper [8]. The Laplacian pyramid algorithm generates stable video sequences, without flickering or glow, and enables real-time implementation, necessary for supervisory and similar systems. Some results of testing of the algorithm are presented (Fig. 4, 5). The system has been realized on a chip making use of a single Altera Cyclone III FPGA (Fig. 6), with a 3-levels Laplacian pyramid module (Fig. 7, 8). The image fusion process execution time is below 10 ms, with a clock speed of 150 MHz. The presented system allows for quick reconfiguration and stands out from similar solutions [6, 11] with very good economical factors (Tab. 1). This enables realization of additional algorithms simply by adjoining new components to the Avalon bus.

Słowa kluczowe

PL

kamera termowizyjna; sekwencje wideo; układy FPGA; fuzja w czasie rzeczywistym

EN

monitoring system; thermal camera; video sequences; FPGA circuits; real-time fusion

• Wydawca: Wydawnictwo PAK
• Czasopismo: Pomiary Automatyka Kontrola
• Rocznik: 2011
• Tom: R. 57, nr 7
• Strony: 789--793
• Opis fizyczny: Bibliogr. 11 poz., rys., tab., wzory

Twórcy

autor

Antoniewicz A.

autor

Jamrozik W.

autor

Kondej M.

autor

Putz B.

• WB ELECTRONICS S. S., ul. Poznańska 129/133, 05-850 Ożarów Mazowiecki,

Bibliografia

• [1] Burt P. J., Kolczynski R. J.: Enhanced image capture through fusion, Computer Vision, 1993. Proceedings, Fourth International Conference on, pp. 173-182, 1993.
• [2] Dong J., Zhuan D., Huang Y., Fu J.: A Advances in Multi-Sensor Data Fusion: Algorithms and Applications. Sensors 2009, 9, 7771-7784.
• [3] Sadjadi F.: Comparative Image Fusion Analysis, Computer Vision and Pattern Recognition – Proceedings of the 2nd Joint IEEE International Workshop on Object Tracking and Classification in and Beyond the Visible Spectrum OTCBVS05. Pages: W01-13-1-W01-13-8, 2005.
• [4] Mohamed M. A., El-Den B. M.: Implementation of Image Fusion Techniques Using FPGA. IJCSNS International Journal of Computer science and Network Security, VOL. 10, no. 5, May 2010, 95-102.
• [5] Rockinger O.: Image Sequence Fusion Using a Shift-Invariant Wavelet Transform. ICIP '97 Proceedings of the 1997 International Conference on Image Processing, vol. 3, 4 pp.
• [6] Tao L., Ngo H., Zhang M., Livingston A., Asari V.: A Multi-sensor Image Fusion and Enhancement System for Assisting Drivers in Poor Lighting Conditions. Proceedings of the 34th Applied Imagery and Pattern Recognition Workshop, 2005, 1-6.
• [7] Burt P. J., Adelson E. H.: The Laplacian Pyramid as a Compact Image Code, IEEE Transactions on Communications, vol. 31, pp. 532-540, 1983.
• [8] Antoniewicz A., Kondej M., Putz B.: Implementacja algorytmu dopasowania obrazów IR i TV w układzie FPGA. Rozdz. 27 w: Projektowanie, analiza i implementacja systemów czasu rzeczywistego, pod red. L. Trybusa i S. Samoleja, WKiŁ 2011, 329-340 (w druku).
• [9] Altera, Cyclone III Device Handbook – Volume 1, 2, 2010. http://www.altera.com/literature/hb/cyc3/cyclone3_handbook.pdf
• [10] Altera, NIOS II Processor Reference Handbook, 2010. http://www.altera.com/literature/hb/nios2/n2cpu_nii5v1.pdf
• [11] Sims O., Irvine J.: An FPGA implementation of pattern-selective pyramidal image fusion. IEEE Proceedings of Field-Programmable Logic and Applications, FPL’200, pp. 1-4.