Kamera termowizyjna wspomagająca nawigację pojazdów UAV

• Autorzy: Bieszczad Grzegorz , Sawicki Krzysztof , Gogler Sławomir , Ligienza Andrzej , Mścichowski Mariusz

Identyfikatory

DOI

10.14313/PAR_241/43

Warianty tytułu

EN

Thermal Imaging Camera Supporting the Navigation of UAVs

• Języki publikacji: PL

Abstrakty

PL

Tematem artykułu jest ocena skuteczności opracowanego czujnika przeznaczonego do wspomagania nawigacji bezzałogowych statków powietrznych (BSP). Jego działanie opiera się na przetwarzaniu obrazów pozyskiwanych z kamery termowizyjnej pracującej w paśmie długofalowej podczerwieni (LWIR) umieszczonej pod podwoziem pojazdu. Przemieszczenie przestrzenne pojazdu określane jest poprzez analizę ruchu charakterystycznych punktów promieniowania cieplnego (grunt, las, budynki itp.) na zdjęciach uzyskanych za pomocą kamery termowizyjnej. Zakres i kierunek przemieszczenia uzyskuje się poprzez przetwarzanie strumienia kolejnych obrazów za pomocą algorytmu opartego na przepływie optycznym wyznaczanym w czasie rzeczywistym. Analiza rozkładu promieniowania pozwala na obliczenie wektora translacji kamery w przestrzeni. Zaletami systemów pomiarowych opartych na analizie obrazu termicznego, w porównaniu z tradycyjnymi inercyjnymi czujnikami nawigacyjnymi, jest brak efektu dryftu, odporność na zmiany pola magnetycznego, mała podatność na zakłócenia elektromagnetyczne oraz na zmiany warunków atmosferycznych. W przeciwieństwie do czujników czułych na światło widzialne, czujnik termowizyjny oferuje pracę w całkowitej ciemności (noce o złej pogodzie i w pomieszczeniach).

EN

The topic of this paper is an evaluation of developed sensor intended for navigation aid of unmanned aerial vehicles (UAVs). Its operation is based on processing images acquired with a thermal camera operating in the long-wave infrared band (LWIR) placed underneath a vehicle’s chassis. The vehicle’s spatial displacement is determined by analyzing movement of characteristic thermal radiation points (ground, forest, buildings, etc.) in pictures acquired by the thermal camera. Magnitude and direction of displacement is obtained by processing the stream of consecutive pictures with optical-flow based algorithm in real time. Radiation distribution analysis allows to calculate camera’s self-translation vector. Advantages of measuring translation based on thermal image analysis is lack of drift effect, resistance to magnetic field variations, low susceptibility to electromagnetic interference and change in weather conditions as compared to traditional inertial navigation sensors. As opposed to visible light situational awareness sensors, it offers operation in complete darkness (harsh weather, nights and indoors). The topic of this paper is an evaluation of developed sensor intended for navigation aid of unmanned aerial vehicles (UAVs). Its operation is based on processing images acquired from a thermal camera operating in the long-wave infrared band (LWIR) placed underneath a vehicle’s chassis. The vehicle’s spatial displacement is determined by analyzing movement of characteristic thermal radiation points (ground, forest, buildings, etc.) in pictures acquired by the thermal camera. Magnitude and direction of displacement is obtained by processing the stream of consecutive pictures with optical-flow based algorithm in real time. Radiation distribution analysis allows to calculate camera’s self-translation vector. Advantages of measuring translation based on thermal image analysis is lack of drift effect, resistance to magnetic field variations, low susceptibility to electromagnetic interference and change in weather conditions as compared to traditional inertial navigation sensors. As opposed to visible light situational awareness sensors, it offers operation in complete darkness (harsh weather, nights and indoors).

Słowa kluczowe

PL

termowizja; nawigacja; analiza obrazu; przetwarzanie obrazu; UAV; przepływ optyczny

EN

thermal imaging; navigation; image analysis; image processing; UAV; optical flow

• Wydawca: Sieć Badawcza Łukasiewicz - Przemysłowy Instytut Automatyki i Pomiarów PIAP
• Czasopismo: Pomiary Automatyka Robotyka
• Rocznik: 2021
• Tom: R. 25, nr 3
• Strony: 43--50
• Opis fizyczny: Bibliogr. 11 poz., rys., wzory

Twórcy

autor

Bieszczad Grzegorz

• Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa 46

• https://orcid.org/0000-0001-8048-2609

autor

Sawicki Krzysztof

• Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa 46

• https://orcid.org/0000-0002-1368-3854

autor

Gogler Sławomir

• Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa 46

• https://orcid.org/0000-0002-3002-6362

autor

Ligienza Andrzej

• Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa 46

• https://orcid.org/0000-0002-5789-8531

autor

Mścichowski Mariusz

• Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa 46

• https://orcid.org/0000-0002-0079-1960

Bibliografia

• 1. Bieszczad G., SoC-FPGA Embedded System for Real-Time Thermal Image Processing. Proceedings of the 23rd International Conference Mixed Design of Integrated Circuits and Systems, MIXDES 2016, 469-473, DOI: 10.1109/MIXDES.2016.7529788.
• 2. Bieszczad G.T., Gogler S., Krupiński M., Ligienza A., Sawicki K., The Concept of Thermovision Sensor Supporting the Navigation of Unmanned Aerial Platforms. “Measurement Automation Monitoring”, Vol. 65, No.1, 2019, 15-18.
• 3. Farnebäck, Gunnar. 2003. “Two-Frame Motion Estimation Based on Polynomial Expansion.” In Proceedings of the 13th Scandinavian Conference on Image Analysis, 363-70. SCIA’03. Berlin, Heidelberg: Springer-Verlag.
• 4. Gageik, Nils, Paul Benz, and Sergio Montenegro. 2015. “Obstacle Detection and Collision Avoidance for a UAV with Complementary Low-Cost Sensors.” IEEE Access 3: 599-609, DOI: 10.1109/ACCESS.2015.2432455.
• 5. Honegger D., Lorenz M., Tanskanen P., Pollefeys M., An Open Source and Open Hardware Embedded Metric Optical Flow CMOS Camera for Indoor and Outdoor Applications. Proceedings of the IEEE International Conference on Robotics and Automation, May 2013, 1736-1741, DOI: 10.1109/ICRA.2013.6630805.
• 6. U-Blox.com. [www.u-blox.com/en/product/zed-f9p-module].
• 7. Lyons R.G. Understanding Digital Signal Processing. Pearson Education International, 2013.
• 8. Meier L., Dynamic Robot Architecture for Robust Realtime Computer Vision. PhD thesis, 2017, ETH Zurich.
• 9. Meier L., Honegger D., Pollefeys M., Px4: A Node-Based Multithreaded Open Source Robotics Framework for Deeply Embedded Platforms. [In:] IEEE International Conference on Robotics and Automation (ICRA), 2015, 6235-6240, DOI: 10.1109/ICRA.2015.7140074.
• 10. Perry D.L, Dereniak E.L., Linear Theory of Nonuniformity Correction in Infrared Staring Sensors. “Optical Engineering”, Vol. 32, No. 8, 1993, 1854-1859, DOI: 10.1117/12.145601.
• 11. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digital image processing in high resolution infrared camera with use of programmable logic device. [In:] Optics and Photonics for Counterterrorism and Crime Fighting VI and Optical Materials in Defence Systems Technology VII, 2010, 266-276. International Society for Optics; Photonics; SPIE. DOI: 10.1117/12.865026.

Uwagi

1. Projekt jest rozwijany w ramach pracy naukowej finansowanej przez Narodowe Centrum Badań i Rozwoju w ramach projektu nr DOB-2P/02/09/2017.

2. Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2021).