Application of Resnet-152 neural networks to analyze images from UAV for fire detection

• Autorzy: Stelmakh Nataliia , Mandrovska Svitlana , Galagan Roman

Identyfikatory

DOI

10.35784/iapgos.5862

Warianty tytułu

PL

Zastosowanie sieci neuronowych Resnet-152 do analizy obrazów z UAV do wykrywania pożaru

• Języki publikacji: EN

Abstrakty

EN

Timely detection of fires in the natural environment (including fires on agricultural land) is an urgent task, as their uncontrolled development can cause significant damage. Today, the main approaches to fire detection are human visual analysis of real-time video stream from unmanned aerial vehicles or satellite image analysis. The first approach does not allow automating the fire detection process and contains a human factor, and the second approach does not allow detect the fire in real time. The article is devoted to the issue of the relevance of using neural networks to recognize and detect seat of the fire based on the analysis of images obtained in real time from the cameras of small unmanned aerial vehicles. This ensures the automation of fire detection, increases the efficiency of this process, and provides a rapid response to fires occurrence, which reduces their destructive consequences. In this paper, we propose to use the convolutional neural network ResNet-152. In order to test the performance of the trained neural network model, we specifically used a limited test dataset with characteristics that differ significantly from the training and validation dataset. Thus, the trained neural network was placed in deliberately difficult working conditions. At the same time, we achieved a Precision of 84.6%, Accuracy of 91% and Recall of 97.8%.

PL

Wczesne wykrycie pożarów w środowisku naturalnym (w tym pożarów na gruntach rolnych) jest zadaniem pilnym, gdyż ich niekontrolowany rozwój może spowodować znaczne szkody. Obecnie głównymi podejściami do wykrywania pożarów jest wizualna analiza przez człowieka strumienia wideo w czasie rzeczywistym z bezzałogowych statków powietrznych lub analiza obrazu satelitarnego. Pierwsze podejście nie pozwala na automatyzację procesu wykrywania pożaru i uwzględnia czynnik ludzki, natomiast drugie podejście nie pozwala na wykrycie pożaru w czasie rzeczywistym. Artykuł poświęcony jest zagadnieniu przydatności wykorzystania sieci neuronowych do rozpoznawania i wykrywania źródła pożaru na podstawie analizy obrazów uzyskiwanych w czasie rzeczywistym z kamer małych bezzałogowych statków powietrznych. Zapewnia to automatyzację wykrywania pożaru, zwiększa efektywność tego procesu oraz zapewnia szybką reakcję na wystąpienie pożarów, co ogranicza ich niszczycielskie skutki. W artykule proponujemy wykorzystanie splotowej sieci neuronowej ResNet-152. Aby przetestować wydajność wyszkolonego modelu sieci neuronowej wykorzystaliśmy ograniczony testowy zbiór danych, którego charakterystyka znacznie różni się od zbiorów danych treningowych i walidacyjnych. Tym samym wytrenowana sieć neuronowa została poddana celowo trudnym warunkom operacyjnym. Jednocześnie uzyskano parametry "Precision" – 84.6%, "Accuracy" – 91% i "Recall" – 97.8%.

Słowa kluczowe

EN

UAV; neural network; ResNet-152; computer vision; artificial intelligence; fire detection; firefighting

PL

UAV; sieć neuronowa; ResNet-152; wizja komputerowa; sztuczna inteligencja; detekcja pożaru

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 2
• Strony: 77--82
• Opis fizyczny: Bibliogr. 16 poz., fot., tab., wykr.

Twórcy

autor

Stelmakh Nataliia

• Department of Computer-Integrated Technologies of Device Production, National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, Ukraine

• https://orcid.org/0000-0003-1876-2794

autor

Mandrovska Svitlana

• Department of Computer-Integrated Technologies of Device Production, National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, Ukraine

• https://orcid.org/0009-0005-2354-9965

autor

Galagan Roman

• Department of Automation and Non-Destructive Testing Systems, National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, Ukraine

• https://orcid.org/0000-0001-7470-8392

Bibliografia

• [1] Bezugla N. et al.: Biological Tissues Axial Anisotropy Spatial Photometry. Bezuglyi M. et al. (eds): Advanced System Development Technologies I. Studies in Systems, Decision and Control 511, Springer 2024 [https://doi.org/10.1007/978-3-031-44347-3_5].
• [2] Bezuglyi M. et al.: Ellipsoidal Reflectors for Biological Media Light Scattering Photometry. Bezuglyi M. et al. (eds): Advanced System Development Technologies I. Studies in Systems, Decision and Control 511, Springer 2024 [https://doi.org/10.1007/978-3-031-44347-3_4].
• [3] Bondariev D. et al.: Optical Properties of Light-Scattering Standards for CCD Photometry. Sensors 23, 2023, 7700 [https://doi.org/10.3390/s23187700].
• [4] Cabezas M. et al.: Detection of invasive species in wetlands: practical DL with heavily imbalanced data. Remote Sensing 12(20), 2020, 3431 [https://doi.org/10.3390/rs12203431].
• [5] Eisenbeiss H.: A mini unmanned aerial vehicle (UAV): system overview and image acquisition. International Archives of Photogrammetry. Remote Sensing and Spatial Information Sciences 36(5), 2004, 1–7.
• [6] Hasanah S. A. et al.: A Deep Learning Review of ResNet Architecture for Lung Disease Identification in CXR Image. Applied Sciences 13(24), 2023, 13111 [https://doi.org/10.3390/app132413111].
• [7] He K. et al.: Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, 770–778.
• [8] https://github.com/UIA-CAIR/Fire-Detection-Image-Dataset (available: 29.03.2024).
• [9] Khan A. et al.: A survey of the recent architectures of deep convolutional neural networks. Artificial intelligence review 53, 2020, 5455–5516.
• [10] Liu W. et al.: SSD: Single shot multibox detector. 14th European Conference Computer Vision–ECCV, Part I 14, 2016, 21–37.
• [11] Mascarenhas S., Agarwal M.: A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification. International Conference on Disruptive Technologies for Multi-Disciplinary Research and Applications (CENTCON), 2021, 96–99 [https://doi.org/10.1109/CENTCON52345.2021.9687944].
• [12] Redmon J. et al.: You only look once: Unified, real-time object detection. IEEE conference on computer vision and pattern recognition, 2016, 779–788.
• [13] Sharma J. et al.: Deep convolutional neural networks for fire detection in images. Communications in Computer and Information Science 744, 2017 [https://doi.org/10.1007/978-3-319-65172-9_16].
• [14] Stelmakh N. et al.: Features of the implementation of computer vision in the problems of automated product quality control. Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska 13(1), 2023, 38–41 [http://doi.org/10.35784/iapgos.3434].
• [15] Wonjae L. et al.: Deep neural networks for wild fire detection with unmanned aerial vehicle. IEEE international conference on consumer electronics (ICCE), 2017, 252–253 [https://doi.org/10.1109/ICCE.2017.7889305].
• [16] Zhang L. et al.: Is faster R-CNN doing well for pedestrian detection? 14th European Conference Computer Vision–ECCV, Part II 14, 2016, 443–457.