Using convolutional neural networks to improve the spatial resolution of aerial images

• Autorzy: Bartosik Kamil , Kurczyński Zdzisław

Identyfikatory

DOI

10.14681/apcrs-2021-002

Warianty tytułu

PL

Wykorzystanie konwolucyjnych sieci neuronowych do poprawy rozdzielczości przestrzennej zdjęć lotniczych

• Języki publikacji: EN

Abstrakty

EN

Artificial intelligence is rapidly finding increasing popularity and applications. In the field of photogrammetry and remote sensing, convolutional neural networks (CNNs) are applied, especially for object detection and classification in aerial and satellite images. Some variations of such networks are super-resolution convolutional neural networks (SRCNNs). Proposed only a few years ago, they are already finding applications for increasing the spatial resolution of aerial and satellite images. This problem is addressed in the paper. The authors introduce the issue of convolutional neural networks and, on this background, the specifics of super-resolution convolutional neural networks. In the experimental part, they undertook the task of improving the resolution of high-resolution aerial images acquired with a large-format camera for a city area with original resolution (ground sampling distance) GSD=5 cm. These images were degraded to varying degrees and then subjected to resolution enhancement with the help of a constructed network. The resulting (sharpened) images were evaluated quantitatively using defined measures of resolution improvement and visual comparison with the original images. The results, surprisingly good especially for images with twice the resolution degradation, confirm the great potential of convolutional neural networks to improve the spatial resolution of aerial images is confirmed.

PL

Sztuczna inteligencja szybko znajduje coraz szersze zainteresowanie i zastosowania. W zakresie fotogrametrii i teledetekcji zastosowanie znajdują konwolucyjne sieci neuronowe (CNN), szczególnie do detekcji i klasyfikacji obiektów na zdjęciach lotniczych i satelitarnych. Pewną odmianą takich sieci są głębokie konwolucyjne sieci neuronowe (super-resolution convolutional neural networks - SRCNN). Zaproponowane zaledwie parę lat temu, już znajdują zastosowanie do zwiększania rozdzielczości przestrzennej zdjęć lotniczych i obrazów satelitarnych. Tego problemu dotyczy artykuł. Autorzy przybliżają problematykę konwolucyjnych sieci neuronowych, a na tym tle specyfikę superrozdzielczych konwolucyjnych sieci neuronowych. W części eksperymentalnej podjęli zadanie poprawy rozdzielczości wysokorozdzielczych zdjęć lotniczych pozyskanych wielkoformatową kamerą dla obszaru miasta o oryginalnej rozdzielczości (piksel terenowy) GSD=5 cm. Zdjęcia te zostały zdegradowane w różnym stopniu, a następnie, z pomocą zbudowanej sieci poddane poprawie rozdzielczości. Wynikowe (wyostrzone) zdjęcia zostały poddane ocenie ilościowej z wykorzystaniem zdefiniowanych miar poprawy rozdzielczości oraz wizualnie, poprzez porównanie ze zdjęciami oryginalnymi. Zaskakująco dobre, szczególnie dla zdjęć o dwukrotnej degradacji rozdzielczości, potwierdzają duży potencjał konwolucyjnych sieci neuronowych do poprawy rozdzielczości przestrzennej zdjęć lotniczych.

Słowa kluczowe

EN

convolutional neural networks; high-resolution convolutional neural networks; image spatial resolution; image resolution enhancement

PL

konwolucyjne sieci neuronowe; superrozdzielcze konwolucyjne sieci neuronowe; rozdzielczość przestrzenna zdjęć; poprawa rozdzielczości zdjęć

• Wydawca: Zarząd Główny Stowarzyszenia Geodetów Polskich
• Czasopismo: Archiwum Fotogrametrii, Kartografii i Teledetekcji
• Rocznik: 2021
• Tom: Vol. 33
• Strony: 23--43
• Opis fizyczny: Bibliogr. 6 poz.

Twórcy

autor

Bartosik Kamil

• Warsaw University of Technology, Faculty of Geodesy and Cartography, Department of Photogrammetry, Remote Sensing and Spatial Information Science

autor

Kurczyński Zdzisław

• Warsaw University of Technology, Faculty of Geodesy and Cartography, Department of Photogrammetry, Remote Sensing and Spatial Information Science

Bibliografia

• Bartosik K. (2020). Wykorzystanie konwolucyjnych sieci neuronowych do poprawy rozdzielczości przestrzennej zdjęć lotniczych. Praca dyplomowa inżynierska, Zakład Fotogrametrii, Teledetekcji i Systemów Informacji Przestrzennej, Wydział Geodezji i Kartografii, Politechnika Warszawska.
• Bielecki M. (2018). Wykrywanie wybranych klas obiektów na danych lotniczych z wykorzystaniem konwolucyjnych sieci neuronowych. Praca dyplomowa, Zakład Fotogrametrii, Teledetekcji i Systemów Informacji Przestrzennej, Wydział Geodezji i Kartografii, Politechnika Warszawska.
• Dong C., Change Loy C., He K., & Tang X. (2015). Image Super-Resolution Using Deep Convolutional Networks, arXiv:1501.00092v3.
• Galar, M., Sesma, R., Ayala, C., & Aranda, C. (2019). Super-resolution for Sentinel-2 images. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 95-102.
• Rosebrock A. (2017). Deep Learning for Computer Vision. Pyimagesearch.
• Wang Z., Simoncelli E.P., & Bovik A.C. (2003). Multi-Scale Structural Similarity for image quality assessment. 37th IEEE Asilomar Conference on Signals, Systems and Computers, 2, 1398-1402