Algorithm of Behaviour of Virtual Avatars During Public Speaking Training in a VR Environment

• Autorzy: Jędrasiak Karol , Wolański Robert Marcin , Bereska Damian

Identyfikatory

DOI

10.12845/sft.64.2.2024.3

Warianty tytułu

PL

Algorytm zachowań wirtualnych awatarów podczas szkoleń z wystąpień publicznych w środowisku VR

• Języki publikacji: EN

Abstrakty

EN

Purpose: This article aims to explore and advance the field of public speaking training through the use of virtual reality (VR) and virtual avatars. The focus is on addressing the challenges faced in traditional public speaking training methods by leveraging the capabilities of VR technology. Project and methods: The project involved developing an innovative algorithm designed to control the behaviour of virtual avatars during public speaking training in a VR environment. This algorithm integrates multiple aspects of human communication, including posture modelling, voice modulation, greetings mannerisms, eye contact management, gestural communication and interactive responsiveness. The methodology combined theoretical research and practical implementation, involving a comprehensive review of existing solutions and the development of a sophisticated, integrated algorithm. The project utilised advanced programming techniques and the latest VR technology, tested in simulated public speaking scenarios. Results: The results of implementing this algorithm in VR-based training applications showed a significant improvement in the authenticity and effectiveness of public speaking training. The virtual avatars, powered by the algorithm, were able to simulate realistic human behaviours and responses, thus providing a more engaging and immersive learning experience for users. The application offered a variety of realistic training scenarios, interactive avatar feedback, customisation options, and progress tracking and analysis features. The study found that the algorithm successfully enhanced participants' public speaking skills, reducing anxiety and improving their overall communication abilities. Conclusions: The research conducted in an “e-Zawody” project concludes that the integration of VR and virtual avatars significantly enhances public speaking training, offering a novel, effective and engaging approach. The development of the algorithm marks a pivotal advancement in educational technology, providing a platform that surpasses traditional training methods. However, the study acknowledges technological limitations and the need for ongoing research and development. Future efforts should focus on enhancing the realism and interactivity of virtual avatars and expanding the application of VR-based training across various fields. The findings suggest a promising direction for the future of public speaking training, with VR technology poised to play a crucial role in the evolution of educational methodologies.

PL

Cel: Niniejszy artykuł ma na celu przedstawienie badania i rozwoju szkoleń z zakresu wystąpień publicznych z wykorzystaniem wirtualnej rzeczywistości (VR) i wirtualnych awatarów. Skupiono się na rozwiązywaniu problemów napotykanych w tradycyjnych metodach szkoleń z zakresu wystąpień publicznych poprzez wykorzystanie możliwości technologii VR. Projekt i metody: Projekt obejmował opracowanie innowacyjnego algorytmu zaprojektowanego do kontrolowania zachowania wirtualnych awatarów podczas szkolenia z wystąpień publicznych w środowisku VR. Opracowany algorytm integruje wiele aspektów komunikacji ludzkiej, w tym modelowanie postawy, modulację głosu, powitania, zarządzanie kontaktem wzrokowym, komunikację gestykulacyjną i interaktywną responsywność. Metodyka łączyła badania teoretyczne i praktyczne wdrożenie obejmujące kompleksowy przegląd istniejących rozwiązań i opracowanie wyrafinowanego, zintegrowanego algorytmu. W projekcie wykorzystano zaawansowane techniki programowania i najnowszą przetestowaną technologię VR. Wyniki: Wyniki wdrożenia tego algorytmu w aplikacjach szkoleniowych opartych na VR wykazały znaczną poprawę autentyczności i skuteczności szkoleń z zakresu wystąpień publicznych. Wirtualne awatary, zasilane przez algorytm, były w stanie symulować realistyczne zachowania i reakcje człowieka, zapewniając w ten sposób użytkownikom bardziej angażujące i immersyjne doświadczenie edukacyjne. Aplikacja oferowała różnorodne realistyczne scenariusze szkoleniowe, interaktywne informacje zwrotne awatara, opcje dostosowywania oraz funkcje śledzenia i analizy postępów. Badanie wykazało, że algorytm skutecznie poprawia umiejętności wystąpień publicznych uczestników, zmniejszając niepokój i poprawiając ich ogólne zdolności komunikacyjne. Wnioski: Badania przeprowadzone w ramach projektu „e-Zawody” dowodzą, że integracja VR i wirtualnych awatarów znacząco poprawia szkolenie w zakresie wystąpień publicznych. Opracowanie algorytmu stanowi kluczowy postęp w technologii edukacyjnej, zapewniając platformę przewyższającą tradycyjne metody szkoleniowe. Jednak badanie potwierdza ograniczenia technologiczne i potrzebę ciągłych badań i rozwoju. Przyszłe wysiłki powinny skupić się na zwiększeniu realizmu i interaktywności wirtualnych awatarów oraz rozszerzeniu zastosowania szkoleń opartych na VR w różnych dziedzinach. Wyniki sugerują obiecujący kierunek dla przyszłości szkoleń w zakresie wystąpień publicznych, przy czym technologia VR jest gotowa odegrać kluczową rolę w ewolucji metodologii edukacyjnych.

Słowa kluczowe

EN

public speaking training; virtual reality; opportunity to practise; behaviour synthesis; virtual avatars

PL

rzeczywistość wirtualna; szkolenie z wystąpień publicznych; możliwość ćwiczenia; synteza zachowań; wirtualne awatary

• Wydawca: Centrum Naukowo-Badawcze Ochrony Przeciwpożarowej im. Józefa Tuliszkowskiego - Państwowy Instytut Badawczy
• Czasopismo: Safety & Fire Technology
• Rocznik: 2024
• Tom: Vol. 64, iss. 2
• Strony: 46--54
• Opis fizyczny: Bibliogr. 21 poz., rys.

Twórcy

autor

Jędrasiak Karol

• WSB University / Akademia WSB

• https://orcid.org/0000-0002-2254-1030

autor

Wolański Robert Marcin

• School of Aspirants of The State Fire Service in Krakow / Szkoła Aspirantów Państwowej Straży Pożarnej w Krakowie

• https://orcid.org/0000-0002-5625-0936

autor

Bereska Damian

• Silesian University of Technology / Politechnika Śląska

• https://orcid.org/+0000-0003-1110-8212

Bibliografia

• [1] Okoro E., Book Review: The Power of Speech, "Business Communication Quarterly” 2013, 76, 1, 114–118, https://doi.org/10.1177/1080569912469097.
• [2] Dansieh S. A., Owusu E., Abudu Seidu G., Glossophobia: The fear of public speaking in ESL students in Ghana, “Language Teaching” 2021, 1, 1, 22–35, https://doi.org/10.30560/lt.v1n1p22.
• [3] Tse A.Y.H., Glossophobia of university students in Malaysia, "International Journal of Asian Social Science” 2012, 2, 11,2061–2073.
• [4] Herumurti D., et al., Overcoming glossophobia based on virtual reality and heart rate sensors, 2019 IEEE International Conference on Industry 4.0, Artificial Intelligence, and Communications Technology (IAICT), IEEE, 2019, https://doi.org/10.1109/ICIAICT.2019.8784846.
• [5] Darling A.L., Dannels D.P., Practicing engineers talk about the importance of talk: A report on the role of oral communication in the workplace, "Communication Education" 2023,52, 1, 1–16, https://doi.org/10.1080/03634520302457.
• [6] Slater M., Pertaub D-P., Steed A., Public speaking in virtual reality: Facing an audience of avatars, IEEE Computer Graphics and Applications 1999, 19, 2, 6–9, https://doi.org/10.1109/38.749116.
• [7] Parmar D., Bickmore T.W., Making it personal: Addressing individual audience members in oral presentations using augmented reality, "Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies”, 2020, 4, 2,1–22, https://doi.org/10.1145/3397336.
• [8] Boetje J., van Ginkel S., The added benefit of an extra practice session in virtual reality on the development of presentation skills: A randomized control trial, "Journal of Computer Assisted Learning“ 2021, 7, 1, 253264, https://doi.org/10.1111/jcal.12484.
• [9] Daniels M. M., Palaoag T.D., Daniels M., Efficacy of virtual reality in reducing fear of public speaking: A systematic review, "IOP Conference Series: Materials Science and Engineering" 2020, 803, 1.
• [10] Internet source: virtualspeech.com, [accessed: 08.02.2023].
• [11] Internet source: charamel.com/en/software, [accessed:08.02.2023].
• [12] Internet source: https://orai.com/, [accessed: 09.02.2023].
• [13] Reeves R., et al., A meta-analysis of the efficacy of virtual reality and in vivo exposure therapy as psychological interventions for public speaking anxiety, "Behaviour Modification” 2022, 46.4,937–965, .https://doi.org/10.1177/0145445521991102.
• [14] Brown D. E., et al., Design and evaluation of an avatar-based cultural training system, "The Journal of Defense Modeling and Simulation”, 2019, 16, 2, 159–174, https://doi.org/10.1177/154851291880.
• [15] Jensen J. F, Virtual inhabited 3D worlds: interactivity and interaction between avatars, autonomous agents and users, "Virtual interaction: Interaction in virtual inhabited 3D worlds", Springer, London 2001, 23–47, https://doi.org/10.1007/978-1-4471-3698-9.
• [16] Lindner P., et al., Virtual Reality exposure therapy for public speaking anxiety in routine care: a single-subject effectiveness trial, "Cognitive Behaviour Therapy” 2021, 50, 1,67–87, https://doi.org/ 10.1080/16506073.2020.1795240.
• [17] Wang G., et al., Development of metaverse for intelligent healthcare, "Nature Machine Intelligence” 2022, 4, 11, 922–929, https://doi.org/10.1038/s42256-022-00549-6.
• [18] Yampolskiy R. V., Brendan K., Anil K. J., Face recognition in the virtual world: recognizing avatar faces, 11th International Conference on Machine Learning and Applications. Vol. 1, IEEE, 2012.
• [19] Gallace A., et al., Multisensory presence in virtual reality: possibilities & limitations, "Multiple sensorial media advances and applications: New developments in MulSeMedia”, IGI Global, 2012, 1–38, https://doi.org/10.4018/978-1-60960-821-7.ch001.
• [20] Yang L. I., et al., Gesture interaction in virtual reality, "Virtual Reality & Intelligent Hardware” 2019, 1, 1, 84–112, https://doi.org/10.3724/SP.J.2096-5796.2018.0006.
• [21] El-Yamri M., et al., Designing a VR game for public speaking based on speakers features: a case study, "Smart Learning Environments” 2019, 6, 1, 12, https://doi.org/10.1186/s40561-019-0094-1.