Eye tracking and exploring AI potential in describing and generating images: a contribution to research on generative art

• Autorzy: Osińska Veslava , Szalacha Adam , Piotrowski Dominik M. , Martinez Jesus Casal

Identyfikatory

DOI

10.15199/48.2025.03.66

Warianty tytułu

PL

Eye tracking i badanie potencjału AI w opisywaniu i generowaniu obrazów: wkład w badania nad sztuką generatywną

• Języki publikacji: EN

Abstrakty

EN

Over the past few years, AI development has impacted fields like computer vision, image description, and generation. The article explored AI's capability to create descriptions and generate images, comparing these with human perception. Images were examined using eye tracking in a VR art gallery and on a desktop. The study involved expert and AI descriptions of BITSCOPE project images, followed by AI-generated images based on those descriptions, focusing on gaze plot metrics.

PL

W ciągu ostatnich kilku lat rozwój sztucznej inteligencji (SI) przyczynił się do postępów w takich dziedzinach jak widzenie komputerowe, opisywanie i generowanie obrazów. Analizy skupiły się na zdolności SI do tworzenia opisów i generowania obrazów, porównując je z ludzką percepcją. Obrazy były badane za pomocą śledzenia ruchu gałek ocznych w galerii sztuki VR oraz w środowisku stacjonarnym. Badanie obejmowało opisy obrazów projektu BITSCOPE dokonane przez eksperta i SI, a następnie generowane przez SI obrazy na podstawie tych opisów, koncentrując się na metrykach śledzenia wzroku.

Słowa kluczowe

EN

artificial intelligence; eyetracking; virtual reality; computer vision

PL

sztuczna inteligencja; eye tracking; rzeczywistość wirtualna; widzenie komputerowe

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2025
• Tom: R. 101, nr 3
• Strony: 286--291
• Opis fizyczny: Bibliogr. 12 poz., rys., tab.

Twórcy

autor

Osińska Veslava

• Nicolaus Copernicus University in Toruń, Institute of Information and Communication Research, Bojarskiego 1, 87-100 Toruń

• https://orcid.org/0000-0002-1306-7832

autor

Szalacha Adam

• Nicolaus Copernicus University in Toruń, Institute of Information and Communication Research, Bojarskiego 1, 87-100 Toruń

• https://orcid.org/0000-0001-8040-001X

autor

Piotrowski Dominik M.

• Nicolaus Copernicus University in Toruń, University Library, Gagarina 13, 87-100 Toruń

• https://orcid.org/0000-0002-3372-4772

autor

Martinez Jesus Casal

• Universitat Politècnica de València, Camí de Vera, s/n, Algirós, 46022 València

• https://orcid.org/0000-0002-0690-0435

Bibliografia

• [1] Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., et al. Generative adversarial nets, Proceedings of the 27th international conference on neural information processing systems - Vol. 2NIPS’14 (2014), Cambridge, MA: MIT Press, 2672–2680
• [2] Hughes R.T., Zhu L., Bednarz T., Generative Adversarial Networks–Enabled Human–Artificial Intelligence Collaborative Applications for Creative and Design Industries: A Systematic Review of Current Approaches and Trends. Front. Artif. Intell. 4:604234 (2021), doi: 10.3389/frai.2021.604234
• [3] How to use AI image prompts to generate art using DALL‑E, access June 19 (2024): https://create.microsoft.com/en-us/learn/articles/how-to-image-prompts-dall-e-ai
• [4] Holmqvist K. et al., Eyetracking: a comprehensive guide to methods and measures, Oxford University Press (2015).
• [5] Raschke, M., Blascheck, T., Burch, M., Visual Analysis of Eye Tracking Data. In: Huang, W. (eds) Handbook of Human Centric Visualization. Springer New York (2014), access June 19 (2024):https://doi.org/10.1007/978-1-4614-7485-2_15
• [6] Levenshtein, V., Binary Codes Capable of Correcting Deletions and Insertions and Reversals. Soviet Physics Doklady, (8) (1966), 707-710
• [7] Brandt, S. A., & Stark, L. W., Spontaneous Eye Movements During Visual Imagery Reflect the Content of the Visual Scene. Journal of Cognitive Neuroscience, 9 (1), (1997), 27-38. MIT Press, access June 19, 2024: doi: 10.1162/jocn.1997.9.1.27
• [8] Voßkühler, A., Nordmeier, V., Kuchinke, L., & Jacobs, A.M., OGAMA - OpenGazeAndMouseAnalyzer: Open source software designed to analyze eye and mouse movements in slideshow study designs, Behavior Research Methods, 40(4) (2008), 1150-1162.
• [9] Itti, L., Koch, C., Feature combination strategies for saliency-based visual attention systems, Journal of Electronic Imaging10(1) (2001), 161–169.
• [10 ]Image Description Generator - 100% Free, No Login „Pallyy”, access June 19 (2024): https://pallyy.com/tools/image-description-generator
• [11] Vision Studio, access June 19 (2024): https://portal.vision.cognitive.azure.com/demo/image-captioning
• [12] Describe Images With AI: Scenes, Faces, Objects or Text | astica ai, access June 19 (2024): https://astica.ai/vision/describe-images