Eye tracking data cleansing for dialogue agent

• Autorzy: Gabor-Siatkowska, Karolina , Stefaniak, Izabela , Janicki, Artur

Warianty tytułu

PL

Czyszczenie danych okulograficznych dla agenta dialogowego

• Języki publikacji: EN

Abstrakty

EN

Eye trackers are commonly used in many research fields, e.g., education, marketing, psychology, medicine, and human-computer interface. Although eye tracker companies provide software with built-in preprocessing algorithms for handling undesired data issues, e.g. blinks, in eye tracking data, the gathered data often has to be additionally processed to become useful for further analyses. In this article, we present an algorithm for eye-tracking data preprocessing, especially when talking about cleansing pupil diameter data. Due to the insufficient detection algorithm provided by the eye-tracking software, our algorithm considers the maximum velocity of human pupil contraction. Our experiments have been conducted on a Gazepoint GP3 device with a sampling frequency of 60 Hz, which is widely used in various research fields. This proposed approach enables researchers to better preprocess their collected pupil data, referring to the behaviour of the human pupil diameter. It makes pupil data preprocessing quick and applicable for any further analyses in various research fields.

PL

Urządzenia śledzące ruch gałek ocznych (tzw. okulografy) są powszechnie stosowane w wielu dziedzinach, np. w medycynie, edukacji, marketingu, psychologii oraz w interfejsach człowiek–komputer. Producenci okulografów proponują nie tylko sprzęt, ale również odpowiednie oprogramowanie, które umożliwia wstępną analizę takich parametrów jak punkty fiksacji wzroku czy wielkość średnicy źrenicy użytkownika. Oprogramowania te zazwyczaj posiadają już wbudowany algorytm do wstępnego oznaczenia niepożądanych danych (np. mrugnięć). Mrugnięcia te zazwyczaj nie są pożądanym zjawiskiem i muszą być dodatkowo przetworzone na wczesnym etapie przed przystąpieniem do dalszych analiz. Niestety nie zawsze wbudowany algorytm detekcji mrugnięć jest wystarczający na potrzeby badań. Niniejszy artykuł opisuje algorytm wstępnego przetwarzania danych okulograficznych, a konkretnie danych źrenicznych; uwzględnia on maksymalną prędkość skurczu ludzkich źrenic. Nasze eksperymenty zostały przeprowadzone na urządzeniu Gazepoint GP3 o częstotliwości próbkowania 60 Hz, które jest powszechnie dostępne. Zaproponowane przez nas rozwiązanie umożliwia szybsze i dokładniejsze przetwarzanie tych danych, uwzględniając przy tym własności ludzkiej źrenicy, i może być szeroko wykorzystywane przy eksperymentach w różnych badaniach okulograficznych.

Słowa kluczowe

PL

czyszczenie danych; okulografia; dane źreniczne; interakcja człowiek-komputer; agent dialogowy; psychiatria

EN

data cleansing; eye tracking; pupillometric data; human-computer interaction; dialogue agent; psychiatry

• Czasopismo: Biuletyn Naukowy Wrocławskiej Wyższej Szkoły Informatyki Stosowanej. Informatyka
• Rocznik: 2023
• Tom: Vol. 10
• Strony: 1--14
• Opis fizyczny: Bibliogr. 24 poz., rys.

Twórcy

autor

Gabor-Siatkowska, Karolina

• Warsaw University of Technology, Faculty of Electronics and Information Technology,

autor

Stefaniak, Izabela

• Lazarski University, Faculty of Medicine,

autor

Janicki, Artur

• Warsaw University of Technology, Faculty of Electronics and Information Technology,

Bibliografia

• 1.Bailly G., Elisei F., Raidt S., Casari A., Picot A., Embodied Conversational Agents: Computing and Rendering Realistic Gaze Patterns [in:] Advances in Multimedia Information Processing – PCM 2006, Y. Zhuang, S. Yang, Y. Rui, Q. He (eds.), Berlin–Heidelberg 2006, pp. 9–18.
• 2. Bartošová O., Bonnet C., Ulmanová O., Šíma M., Perlík F., Růžička E., O. Slanař, Pupillometry as an Indicator of L-DOPA Dosages in Parkinson’s Disease Patients, “Journal of Neural Transmission” 2017 (4), pp. 699–703.
• 3. Bee N., André E., Tober S., Breaking the Ice in Human-Agent Communication: EyeGaze Based Initiation of Contact with an Embodied Conversational Agent [in:] Intelligent Virtual Agents, Z. Ruttkay, M. Kipp, A. Nijholt, H. Vilhjálmsson (eds.), Berlin–Heidelberg 2009, pp. 229–242.
• 4. Białowąs S., Szyszka A., Eye-Tracking in Marketing Research [in:] Managing Economic Innovations – Methods and Instruments, R. Robert (ed.), Poznań 2019, pp. 91–104.
• 5. Bradley M. M., Miccoli L., Escrig M. A., Lang P. J., The Pupil as a Measure of Emotional Arousal and Autonomic Activation, “Psychophysiology” 2008 (4), pp. 602–607.
• 6. Bremner F. D., Pupillometric Evaluation of the Dynamics of the Pupillary Response to a Brief Light Stimulus in Healthy Subjects, “Investigative Ophthalmology and Visual Science” 2012 (11), pp. 7343–7347.
• 7. Chang K.–M., Chueh M.–T. W., Using Eye Tracking to Assess Gaze Concentration in Meditation, “Sensors” 2019 (7), pp. 1–14.
• 8. Eye-Tracking Technology Applications in Educational Research. Eye-Tracking Technology Applications in Educational Research, C. Was, F. Sansosti, B. Morris (eds.), Hershey 2017.
• 9. Gabor-Siatkowska K., Sowański M., Rzatkiewicz R., Stefaniak I., Kozłowski M., Janicki A., AI to Train AI: Using ChatGPT to Improve the Accuracy of a Therapeutic Dialogue System, “Electronics” (22), pp. 1–14.
• 10. Hershaw J. N., Ettenhofer M. L., Insights into Cognitive Pupillometry: Evaluation of the Utility of Pupillary Metrics for Assessing Cognitive Load in Normative and Clinical Samples, “International Journal of Psychophysiology” 2018 (134), pp. 62–78.
• 11. Kozłowski M., Gabor-Siatkowska K., Stefaniak I., Sowański M., Janicki A., Enhanced Emotion and Sentiment Recognition for Empathetic Dialogue System Using Big Data and Deep Learning Methods [in:] Computational Science – ICCS 2023. 23rd International Conference, Proceedings, Part I, Lecture Notes In Computer Science, J. Mikyška, C. de Mulatier, M. Paszyński, V. Krzhizhanovskaya, J. Dongarra, P. M. A. Sloot (eds.), Berlin 2023, pp. 465–480.
• 12. Krejtz K., Duchowski A. T., Niedzielska A., Biele C., Krejtz I., Eye Tracking Cognitive Load Using Pupil Diameter and Microsaccades with Fixed Gaze, “PLOS ONE” 2018 (9), pp. 1–23.
• 13. Kret M. E., Sjak–Shie E. E., Preprocessing Pupil Size Data: Guidelines and Code, “Behavior Research Methods” 2018 (3), pp. 1336–1342.
• 14. Mathôt S., Fabius J., Heusden van E., Stigchel van der S., Safe and Sensible Preprocessing and Baseline Correction of Pupil-Size, “Behavior Research Methods” 2018 (1), pp. 94–106.
• 15. Mathôt S., Vilotijević A., Methods in Cognitive Pupillometry: Design, Preprocessing, and Statistical Analysis, “Behavior Research Methods” 2023 (6), pp. 3055–3077.
• 16. Pfleging B., Fekety D. K., Schmidt A., Kun A. L., A Model Relating Pupil Diameter to Mental Workload and Lighting Conditions [in:] Conference on Human Factors in Computing Systems – Proceedings (CHI’ 16), J. Kaye, A. Druin (eds.), New York 2016, pp. 5776–5788.
• 17. Silva L. O., Zárate L. E., A Brief Review of the Main Approaches for Treatment of Missing Data, “Intelligent Data Analysis” 2014 (6), pp. 1177–1198.
• 18. Stefaniak I., Sorokosz K., Janicki A., Wciórka J., Therapy Based on Avatar-Therapist Synergy for Patients with Chronic Auditory Hallucinations: A Pilot Study, “Schizophrenia Research” 2019, pp. A1–A3.
• 19. Stern J. A., Boyer D., Schroeder D., Blink Rate: A Possible Measure of Fatigue, “Human Factors: The Journal of the Human Factors and Ergonomics Society” (2), pp. 285–297.
• 20. Sulikowski P., T. Zdziebko, Deep learning-enhanced framework for performance evaluation of a recommending interface with varied recommendation position and intensity based on eye-tracking equipment data processing, „Electronics” 2020 (9), pp. 1–15.
• 21. Thakkar K. N., Brascamp J. W., Ghermezi L., Fifer K., Schall J. D., Park S., Reduced Pupil Dilation During Action Preparation in Schizophrenia, “International Journal of Psychophysiology” 2018 (128), pp. 111–118.
• 22. Xu J. et al., Left Gaze Bias Between LHT and RHT: A Recommendation Strategy to Mitigate Human Errors in Left- and Right-Hand Driving, “IEEE Transactions on Intelligent Vehicles” 2023 (8), pp. 4406–4417.
• 23. Xu J., Guo K., Sun P. Z. H., Driving Performance Under Violations of Traffic Rules: Novice vs. Experienced Drivers, “IEEE Transactions on Intelligent Vehicles” 2022 (7), pp. 908–917.
• 24. Wedel W., Attention Research in Marketing: A Review of Eye Tracking Studies, “SSRN” 2013, pp. 1–28.