W artykule omówiono metody fuzji termogramów i obrazów wizyjnych oraz przedstawiono algorytm fuzji bazujący na wykorzystaniu map gradientów temperatury w termogramie. Zaproponowany algorytm fuzji pozwala uwzględnić lokalne, dynamiczne zmiany temperatury. Algorytm map gradientowych dostosowano do termogramów poprzez wprowadzenie modyfikacji polegających na wprowadzeniu informacji obszarowej do algorytmu (rozszerzona maska, dylatacja). Proponowane rozwiązanie porównano z wybranymi istniejącymi metodami. Przeprowadzone eksperymenty zarówno wizualnie, jak i numerycznie wykazują efektywność proponowanego rozwiązania.
EN
The fusion of measurement data includes a description of all the phenomena occurring in the real world by the simultaneous use of sensors of different physical quantities. The fusion of thermal images and visual images based on the use of maps of temperature gradients in the thermal images is presented in the paper. The methods of image fusion can be generally divided into two categories: pixel-based and region-based methods. Algorithms that use simple information about the intensity of pixels or temperature are characterized by the time effectiveness, but as shown in Fig. 2 do not give satisfactory results. A gradient map of temperatures in the thermal images allows for assessment of local, very dynamical changes of temperature, also determines the velocity and direction of changes in the thermal image temperature. A disadvantage of using a gradient map image is its sensitivity to any, even the smallest changes in the temperature. The gradient map algorithm was adapted to the thermal images by the proposed modifications based on the region-based information: gradient map automatic thresholding, expanding of the pixel-region, also morphological operation. The proposed solution was compared with selected methods. The paper also discusses the experimental studies and the results, which allowed evaluating the effectiveness of the developed algorithm.
3
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
Przedstawiono wyniki zastosowania różnych metod fuzji obrazów rejestrowanych za pomocą kamer wizyjnej i termowizyjnej. Obrazy zarejestrowano podczas monitorowania procesu spawania. Obserwacji podlegał łuk spawalniczy i tworzone złącze, które obserwowano w fazie stygnięcia. Rozpatrywano obrazy zarejestrowane podczas spawania metodą GMA na dwóch różnych stanowiskach spawalniczych. Obserwację prowadzono z zastosowaniem kamer wyposażonych w różne układy optyczne. Przeprowadzono analizę wpływu parametrów układu optycznego na wyniki fuzji obrazów. Analizie poddano również sposób przetwarzania wstępnego obrazów w celu ich wzajemnego dopasowania. Z badań wynika, że obraz po fuzji zawiera zagregowane informacje, przydatne do monitorowania i oceny jakości procesu spawania w trybie on-line.
EN
Results of different methods of margining thermal and visual images are presented. Images were recorded in the welding process. Welding arc and joint in cooling phase were observed. Images in the GMA welding on two different welding stations were obtained. Cameras with different optics were used in the research. The analysis of influence of optic parameters on the image fusion were made. The image preprocessing for matching them together were also analyzed. Results are shown that the image after fusion merged information useful in monitoring and quality on-line testing of welding process includes.
W artykule przedstawiono fragment wyników badań dotyczących wyboru metody dopasowania obrazów dla potrzeb ich dalszej fuzji. Poszukiwano metody pozwalającej na efektywne dopasowanie obrazów wizyjnych i termowizyjnych przedstawiających scenę o strukturze zmieniającej się w czasie. Ocenę jakości dopasowania przeprowadzono z zastosowaniem wybranych metryk jakościowych. Porównywano ze sobą różne metody. Wyniki oceny wskazują, że algorytmem dopasowania prowadzącym do uzyskania obrazu po fuzji o najlepszej jakości jest algorytm wykorzystujący mapy gradientów.
EN
In the paper the part of studies connected with search of an optimal image registration method suitable for further image fusion purposes is presented. The search was made for an infrared and visible light acquired image. Thermograms were taken by cameras working in mid (outdoor scene) and long infrared (welding arc). Degradation between images was connected mainly with translation between camera optical axes. Three registration methods were taken into consideration. They were based on cross correlation, maximization of mutual information as well as intensity and edge orientation information. Each method was used to register images from two sets. The aligned images were next aggregated with the multiscale discrete wavelet method. The registration quality was measured with objective quality metrics such as the root mean square error (RMSE), the peak signal to noise ratio (PSNR) and the universal image quality index (Q). The used metrics allow the comparison between the benchmark images registered manually and the considered images. The analysis of the obtained results leads to the statement that among the tested methods the one using simultaneously the area and feature information generates the best registration parameters. On the other hand, the practical usage of image fusion is strongly connected with amount of the time consumed for registration. Thus, the preregistration and assumption that only transitional differences between images are present influence the capability of each method applicability.
Praca przedstawia algorytm rekonstrukcji 3D scen termalnych w celu korekcji emisyjności kierunkowej, który został zaimplementowany w autorskim programie „Vision Plus 3D”. Wyznaczenie orientacji cyfrowych obrazów wizyjnych i termalnych oraz położenia rejestrowanego obiektu w przestrzeni 3D realizuje zastosowana w programie metoda bezpośredniej transformacji liniowej DLT (Direct Linear Transformation). Opracowany program „Vision Plus 3D” obsługuje różne formaty rastrowe. Zapis i import danych pomiarowych oraz narzędzi jest wykonywany w plikach w formacie XML. Interaktywny, równoczesny pomiar na obrazach cyfrowych punktów i zdefiniowanych obiektów geometrycznych wspomagany jest dodatkowymi funkcjami obsługi oraz algorytmami automatyzującymi pomiar. Aplikacja jest funkcjonalnie powiązana z platformą bazowego cyfrowego sytemu wideo-termalnego „Vision Plus”, zewnętrzną biblioteką „Vision” oraz dodatkowym modułem „Vision Plus Thermal Analyst”. „Vision Plus 3D” jest obiektową, 32-bitową aplikacją Windows, oprogramowaną w języku Object Pascal przy wykorzystaniu pakietu Borland Developer Studio. Opracowany program tworzy nowe możliwości analizy, pomiaru oraz zaawansowanego przetwarzania cyfrowych obrazów wizyjnych i termalnych. W pracy przedstawiono eksperyment rekonstrukcji 3D sceny termalnej dla powierzchni nachylonej za pomocą programu „Vision Plus 3D”. Na podstawie otrzymanych danych obliczony został kąt między wektorem normalnym do zdefiniowanej płaszczyzny obiektu oraz osią optyczną kamery termalnej. Wyznaczenie średniej temperatury radiacyjnej oraz korekcję temperatury metodą korekcji emisyjności kierunkowej w zdefiniowanym obszarze termogramu przeprowadzono w aplikacji „Vision Plus Thermal Analyst”.
EN
The paper presents an algorithm for 3D reconstruction of thermal scenes for the purposes of directional emissivity correction, which was implemented in the authors’ software „Vision Plus 3D”. Determination of the orientation of images (visual and thermal) and the position of a recorded object in 3D space is enabled by the Direct Linear Transformation method used in the application. „Vision Plus 3D” software works with various raster formats. Saving and importing of measurement data as well as of tools is executed using XML format files. Interactive, simultaneous measurement of points and defined geometrical objects from digital images is supported by additional functions and algorithms, which automate the measurement. The application is functionally related to the „Vision Plus” digital video-thermal basic system platform, the „Vision” external library and the „Vision Plus Thermal Analyst” additional module. „Vision Plus 3D” is a 32-bit Windows object application, programmed in Object Pascal language using the Borland Developer Studio package. This software opens new possibilities for analysis, measurement and advanced processing of visual and thermal digital images. The paper presents experimental reconstruction of the 3D thermal scene of a sloping surface using the „Vision Plus 3D” application. The angle between a normal vector of a defined plane and the optical axis of the thermal camera is calculated based on the data received. The calculation of average radiant temperature as well as a temperature correction in the defined area of the thermal image using the directional emissivity correction method were both carried out in „Vision Plus Thermal Analyst” module.
W pracy przedstawiono możliwości zaawansowanego przetwarzania, pomiaru oraz analizy cyfrowych obrazów wizyjnych i termalnych w środowisku nowej wersji autorskiego systemu "Vision Plus". Opracowana zewnętrzna biblioteka "Vision" umożliwia integracje obsługi, unifikacje narzędzi do przetwarzania oraz fuzje różnych danych cyfrowych na platformie pakietu "Vision Plus". Bibliotekę "Vision" charakteryzują m.in. następujące cechy: implementacja różnych rodzajów formatów danych, obsługa dowolnych rodzajów piksela, kontenery pozwalające na przechowywanie danych obrazowych, kalibracja metrologiczna obrazu, rozbudowa funkcji importu i eksportu danych, rozbudowana komunikacja z innymi programami, nakładanie obiektów graficznych wyznaczonych metodami fotogrametrycznymi, grupowanie obrazów, narzędzi oraz danych wejściowych, optymalizacja interfejsu u_ytkownika. Dodatkowy moduł "Thermal Analyst", wykorzystujący podejście obiektowe, jest funkcjonalnie zintegrowany z biblioteka "Vision". Przeznaczony jest do zaawansowanych operacji oraz analiz na cyfrowych obrazach termalnych i wizyjnych oraz ekstrakcji informacji. Program "Thermal Analyst" obsługuje maski oraz opracowane wtyczki (plugin): Subtractor, NUC (Non Uniformity Correction dla matryc detektorów termowizyjnych), Fourier Transform, Statistic (statystyka dla wybranych obrazów), Export to AVI (tworzenie sekwencji video), 2D Projective Transformation, Combine Images (działania arytmetyczne na obrazach). Biblioteke "Vision" i program "Thermal Analyst" wykonano głównie w języku Object Pascal przy wykorzystaniu pakietu Borland Developer Studio 2005. W pracy zostały omówione dwa przykłady typowych aplikacji bliskiego zasięgu (diagnostyka medyczna, badanie deformacji żelbetonowej belki stropowej). Opracowanie w środowisku multisensoralnego systemu "Vision Plus" obrazów cyfrowych pozyskanych sensorami wizyjnym i termalnym wykonano stosując specjalizowane procedury przetwarzania, pomiaru i łączenia danych (data fusion).
EN
The paper presents the possibilities of advanced processing, measuring and analyzing visual and thermal digital images in the newest version of the "Vision Plus" authors’ system environment. The "Vision" external library enables service integration, unification of digital processing tools and various digital data fusion on the "Vision Plus" package platform. The "Vision" library is characterised by the following features: various data formats implementation, service of various pixel types, converters enabling image data storage, metrological image calibration, extension of data import and export functions, expanded communication with other applications, overlapping of graphic objects determined by photogrammetric methods, images, tools and input data grouping and user interface optimisation. The new, additional "Thermal Analyst" module created in an object-approach is functionally integrated with the "Vision" library, and is used for advanced processing and analysis of thermal and visual digital images, as well as for information extraction. It additionally operates on masks and on created plugins: Subtractor, NUC (Non Uniformity Correction for thermovision detector matrixes), Fourier Transform, Statistic (statistics of chosen images), Export to AVI (converting into a video sequence), 2D Projective Transformation, Combine Images (arithmetical operations on images). The "Vision" library and "Thermal Analyst" software were created mainly in the Object Pascal programming language using Borland Developer Studio 2005 package. Moreover, the paper describes two typical examples of close range applications: medical diagnostics and measurement of a reinforced concrete tie-beam deformation. In the multisensoral "Vision Plus" system, dedicated processing, measuring and digital data fusion procedures are applied in the process of elaboration of digital and thermal images, which were obtained by video and thermal sensors.
Multisensoralny, hybrydowy system video-termalny VISION PLUS wraz z programem fotogrametrycznym POPOS umożliwia rejestrację oraz przetwarzanie cyfrowych obrazów wizyjnych i termalnych. Na ich podstawie możliwe jest pozyskanie i opracowanie informacji metrologicznych o obiektach rejestrowanych w bliskim zasięgu. Jego podstawowym przeznaczeniem jest przede wszystkim rejestracja procesów dynamicznych, szybkozmiennych. W pracy przedstawiono przyjęte rozwiązania i funkcje użytkowe systemu. Na przykładzie opracowania metrologicznego omówiono warunki rejestracji cyfrowych obrazów wizyjnych i termalnych. Opisano i analizowano zakres, sposób i wyniki opracowania fotogrametrycznego i termograficznego. Określony też został typowy schemat pomiarów i badań metrologicznych w bliskim zasięgu z zastosowaniem omawianego cyfrowego systemu videotermalnego.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.