Building a dataset of Wrocław’s historic tenements. Image annotation for machine learning applications

• Autorzy: Marcinów, Aleksandra , Biegańska, Małgorzata , Kowalska, Bianka , Baran, Hubert , Hardzetski, Daniil , Kwaśnicka, Halina

Warianty tytułu

PL

Budowa zbioru danych historycznych kamienic Wrocławia. Anotacja zdjęć do wykorzystania w uczeniu maszynowym

• Języki publikacji: EN

Abstrakty

EN

In recent years, the development of artificial intelligence (AI) has introduced new possibilities in the field of architecture. In the realm of compo sitional analysis and recognition of architectural details, AI can have a significant impact, supporting historical-architectural research, the valorisation of historic buildings, and design in accordance with historical context. However, the successful use of AI in analysing architectural objects requires large datasets to train and test the models. The article aims to demonstrate the creation of a new dataset containing annotated images. The NeoFaçade collection serves as a historical dataset, containing façades of the 19^th and 20^th century townhouses from Wrocław and, in due course, other cities with similar architectural styles (for example, Szczecin or Berlin). Gathering highquality photographic material and marking architectural elements accurately, enables to use the dataset for various AI tasks: semantic segmentation, image classification, and generation of pictures of tenement house façades. This way, the NeoFaçade dataset can potentially be applied in architectural practice or historic preservation. The methodology for creating the dataset developed by the authors consists of three stages: preparation of the data acquisition procedure, data processing: creation of a dataset that meets the requirements and a summary of the dataset. All stages are discussed in detail in the paper, including an example annotation of one of the townhouses. In the future, the research team will focus on expanding the collection with new photographs, while also striving to demonstrate NeoFaçade value as a tool supporting innovative research projects and practical applications.

PL

W ostatnich latach rozwój sztucznej inteligencji (SI) wprowadził nowe możliwości także w dziedzinie architektury. W obszarze analizy kompozycyjnej i rozpoznawania detali architektonicznych SI może mieć istotny wpływ na wspieranie badań historyczno-architektonicznych poprzez waloryzację zabytkowych budynków oraz projektowanie zgodne z historycznym kontekstem. Skuteczne wykorzystanie SI w analizie obiektów architektonicznych wymaga jednak dostarczenia dużych zbiorów danych niezbędnych do trenowania i testowania modeli. Celem autorów artykułu było przedstawienie procesu tworzenia zbioru danych zawierającego anotowane zdjęcia. Opracowana metodologia tworzenia zbioru składa się z trzech etapów: przygotowania procedury pozyskiwania danych, przetwarzania danych – utworzenia zbioru danych spełniających wymagania oraz podsumowania zbioru danych. Wszystkie etapy zostały w pracy szczegółowo omówione wraz z pokazaniem przykładowej anotacji jednej z kamienic. Zbiór NeoFaçade służy jako historyczny zbiór danych zawierający fasady kamienic z XIX i XX w. z Wrocławia, a w przyszłości także z innych miast o podobnych stylach architektonicznych (np. Szczecina czy Berlina). Zgromadzenie wysokiej jakości materiału fotograficznego i dokładne oznaczenie elementów architektonicznych umożliwia wykorzystanie zbioru danych w różnych zadaniach sztucznej inteligencji: segmentacji semantycznej, klasyfikacji obrazów, a także w generowaniu elewacji kamienic. W ten sposób zbiór NeoFaçade może być zastosowany w praktyce architektonicznej czy w konserwacji zabytków. W przyszłości zespół badawczy skupi się na rozszerzeniu o nowe fotografie zbioru, jednocześnie będzie starał się pokazać, że NeoFaçade jest wartościowym narzędziem wspierającym innowacyjne projekty badawcze i praktyczne zastosowania.

Słowa kluczowe

PL

zbiór danych; fasada; kamienica; historyczna architektura; uczenie maszynowe

EN

dataset; façade; townhouse; historic architecture; machine learning

• Czasopismo: Architectus
• Rocznik: 2024
• Tom: Nr 3 (79)
• Strony: 55--64
• Opis fizyczny: Bibliogr. 10 poz., rys., tab.

Twórcy

autor

Marcinów, Aleksandra

• Faculty of Architecture, Wrocław University of Science and Technology, Poland,

autor

Biegańska, Małgorzata

• Faculty of Architecture, Wrocław University of Science and Technology, Poland

autor

Kowalska, Bianka

• Faculty of Information and Communication Technology, Wrocław University of Science and Technology, Poland

autor

Baran, Hubert

• Faculty of Information and Communication Technology, Wrocław University of Science and Technology, Poland

autor

Hardzetski, Daniil

• Faculty of Information and Communication Technology, Wrocław University of Science and Technology, Poland

autor

Kwaśnicka, Halina

• Faculty of Information and Communication Technology, Wrocław University of Science and Technology, Poland

Bibliografia

• Alawadhi, Mohammad, and Wei Yan. “Deep learning from parametri cally generated virtual buildings for realworld object recognition.” (2023). https://doi.org/10.48550/arXiv.2302.05283.
• Bialek, Janusz, Emanuele Ciapessoni, Diego Cirio, Eduardo CotillaSan chez, Chris Dent, Ian Dobson, Pierre Henneaux et al. “Benchmarking and validation of cascading failure analysis tools.” IEEE Transactions on Power Systems 31, no. 6 (November 2016): 4887–4900. https://doi.org/10.1109/TPWRS.2016.2518660.
• Bölek, Buse, Osman Tutal, and Hakan Özbaşaran. “A systematic review on artificial intelligence applications in architecture.” Journal of Design for Resilience in Architecture and Planning 4, no. 1 (2023): 91–104. https://doi.org/10.47818/DRArch.2023.v4i1085.
• Getty Research Institute. Art & Architecture Thesaurus® Online. Updated January 25, 2021. https://www.getty.edu/research/tools/vocabularies/aat/.
• Kistowski, Jóakim v., Jeremy A. Arnold, Karl Huppler, Klaus-Dieter Lange, John L. Henning, and Paul Cao. “How to build a benchmark.” In Proceedings of the 6th ACM/SPEC International Conference on Performance Engineering, 333–336. New York: ACM 2015. https://doi.org/10.1145/2668930.2688819.
• Li, Chengyuan, Tianyu Zhang, Xusheng Du, Ye Zhang, and Haoran Xie. “Generative AI for architectural design: A literature review.” (2024). https://doi.org/10.48550/arXiv.2404.01335.
• Llamas, Jose, Pedro M. Lerones, Roberto Medina, Eduardo Zalama, and Jaime Gómez-García-Bermejo. “Classification of architectural her itage images using deep learning techniques.” Applied Sciences 7, no. 10 (2017): 992. https://doi.org/10.3390/app7100992.
• Theodosiou, Zenonas, and Nicolas Tsapatsoulis. “Image annotation: The effects of content, lexicon and annotation method.” International Journal of Multimedia Information Retrieval 9, (March 2020): 191203. https://doi.org/10.1007/s1373502000193z.
• Vaccari, Ivan, Giovanni Chiola, Maurizio Aiello, Maurizio Mongelli, and Enrico Cambiaso. “MQTTset, a new dataset for machine learning techniques on MQTT.” Sensors 20, no. 22 (November 2020): 6578. https://doi.org/10.3390/s20226578.
• Zhang, Jiaxin, Tomohiro Fukuda, and Nobuyoshi Yabuki. “Automatic generation of synthetic datasets from a city digital twin for use in the instance segmentation of building facades.” Journal of Computational Design and Engineering 9, no. 5 (October 2022): 1737–1755. https://doi.org/10.1093/jcde/qwac086.

Identyfikatory

DOI

10.37190/arc240306