Content-based image similarity measurement grounded on information retrieved by semantic segmentation algorithms

• Autorzy: Wasiluk Rafał

Identyfikatory

DOI

10.5604/01.3001.0055.0855

Warianty tytułu

PL

Oparty na treści pomiar podobieństwa obrazów bazujący na informacjach pozyskanych z algorytmów segmentacji semantycznej

• Języki publikacji: EN

Abstrakty

EN

The purpose of this article is to present a novel approach for recording information contained in an image in a structured form and performing image similarity assessment with use of these data structures. The solution presented in this document relies on an analysis of results produced by pre-trained semantic segmentation algorithms. These outcomes can be transformed to a set of vectors representing some characteristics of each class of objects detected in the provided image. These data structures can contain meaningful information about algorithm detections, such as the object’s position on the image, the object’s size compared to the overall image size or the object’s dominant colors, etc. Vectors prepared as described previously can be further compared with other image embeddings using many mathematical tools like distance measures. Moreover, the approach described in this article allows the user to define a value of weight tied to each characteristic. This provides the ability to make a subset of features more important than others and have a greater impact on the final value of image similarity.

PL

Celem niniejszego artykułu jest zaprezentowanie nowatorskiego sposobu zapisywania informacji zawartych na obrazach w ustrukturyzowanej formie oraz przeprowadzania procesu szacowania podobieństwa obrazów z użyciem wspomnianych struktur danych. Rozwiązanie zaprezentowane w tym dokumencie opiera swoje działanie na analizie wyników otrzymanych od wstępnie wytrenowanych algorytmów segmentacji semantycznej. Rezultaty te mogą zostać przetransformowane do postaci zbioru wektorów, których wartości będą reprezentowały cechy obiektów wykrytych na dostarczonych obrazach. Takie struktury danych mogą zawierać istotne informacje na temat detekcji algorytmu np.: położenie wykrytego obiektu na obrazie, rozmiar wykrytego obiektu w porównaniu do wielkości całej grafiki, kolor dominujący itp. Przygotowane w taki sposób wektorowe reprezentacje obrazów mogą być porównywane między sobą przy użyciu wielu narzędzi matematycznych takich jak miary odległości. Co więcej zaprezentowane w niniejszym artykule podejście pozwala decydentowi zdefiniować wartość wagi każdej z cech dla poszczególnych klas obiektów. Pozwala to modelować preferencje decyzyjne oraz sprawia, że podzbiór cech obiektów może mieć większy wpływ na ostateczną wartość podobieństwa obrazów od pozostałych parametrów.

Słowa kluczowe

EN

image similarity; semantic segmentation; vector image representation

PL

podobieństwo obrazów; segmentacja semantyczna; wektorowa reprezentacja obrazu

• Wydawca: Institute of Computer and Information Systems, Faculty of Cybernetics, Military University of Technology
• Czasopismo: Computer Science and Mathematical Modelling
• Rocznik: 2024
• Tom: No. 19
• Strony: 35--43
• Opis fizyczny: Bibliogr. 12 poz., rys.

Twórcy

autor

Wasiluk Rafał

• doktorant, Military University of Technology, Doctoral School, Kaliskiego Str. 2, 00-908 Warsaw, Poland

Bibliografia

• [1] Shahzeb H., Prayas D., Shaayan H., “Image Processing in Artificial Intelligence”, International Journal of Scientific Research in Computer Science, Engineering and Information Technology, Vol. 6, No. 5, 244-249 (2020).
• [2] Wang X., Kitani K. M., Hebert M., „Contextual Visual Similarity”, 2016, https://doi.org/10.48550/arXiv.1612.02534.
• [3] Dubey S. R., “A Decade Survey of Content Based Image Retrieval Using Deep Learning”, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 32, No. 5, 2687-2704 (2022).
• [4] Zheng W., Ouyang Y., Ford J., Makedon F., “Ontology-based Image Retrieval”, Ijetrm Journal, Department of Computer Science, Dartmouth College, USA, https://doi.org/10.5281/zenodo.3352813.
• [5] Schroff F., Kalenichenko D., Philbin J., „FaceNet: A Unified Embedding for Face Recognition and Clustering”, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 815-823, Boston, MA, USA, 2015.
• [6] Bandikolla P., Reddy V. R. K., “Image retrieval using a combination of keywords and image features”, Master Thesis, School of Engineering Blekinge Institute of Technology, Ronneby, Sweden, 2008.
• [7] Bromley J., et al., “Signature Verification using a ʻSiameseʼ Time Delay Neural Network”, Advances in Pattern Recognition Systems Using Neural Network Technologies, series in: Machine Perception and Artificial Intelligence, Vol. 7, p. 25-44, Singapore 1994.
• [8] Redmon J., Divvala S., Girshick R., Farhadi A., “You Only Look Once: Unified, Real-Time Object Detection”, 2016, https://doi.org/10.48550/arXiv.1506.02640.
• [9] Xu H., Ma Y., Liu H., Deb D., Liu H., Tang J., Jain A. K., “Adversarial Attacks and Defenses in Images, Graphs and Text: A Review”, 2019, https://doi.org/10.48550/arXiv.1909.08072.
• [10] Khan M. A., Dhotre D., “CBIR: A review on its new trends in current era”, International Research Journal of Modernization in Engineering Technology and Science, Vol. 5, No. 6, (2023).
• [11] Kirillov A., He K., Girshick R., Rother C., Dollár P., “Panoptic Segmentation”, 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), p. 9396-9405, Long Beach, CA, USA, 2019.
• [12] Zadeh L. A., “Fuzzy sets”, Information and Control, Vol. 8, No. 3, 338-353 (1965).