Visual Emotion Recognition based on transfer learning technique using VGG16

• Autorzy: Ayadi Souha , Lachiri Zied

Identyfikatory

DOI

10.15199/48.2024.08.31

Warianty tytułu

PL

Rozpoznawanie emocji wizualnych w oparciu o technikę uczenia transferowego z wykorzystaniem VGG16

• Języki publikacji: EN

Abstrakty

EN

Visual emotion recognition is one of the active topics nowadays. Recognizing emotions from a sequence of moving images still shows some difficulty in correctly detecting the exact features due to facial movement in the first place. Especially the movement of the mouth when pronouncing the sentence while producing emotions, which mainly affects the appearance of facial features. Thus, in this work, we focus on emotion recognition from facial expressions expressing speech. The deep neural network used in this work is VGG16 which is considered to be an effective neural network for detection and classification tasks, and can mainly be adaptable with transfer learning, technique. The presented method is conducted on the Video-speech category where we work on the detection of six classes of emotions which are: neutral, calm, happy, sad, angry and fearful, where the precision obtained is 78.12%.

PL

Wizualne rozpoznawanie emocji jest obecnie jednym z aktywnych tematów. Rozpoznawanie emocji na podstawie sekwencji ruchomych obrazów nadal wiąże się z pewnymi trudnościami w prawidłowym wykryciu dokładnych cech, przede wszystkim na podstawie ruchu twarzy. Zwłaszcza ruch ust podczas wymawiania zdania podczas wywoływania emocji, który wpływa głównie na wygląd rysów twarzy. Dlatego w tej pracy skupiamy się na rozpoznawaniu emocji na podstawie mimiki wyrażającej mowę. Głęboka sieć neuronowa wykorzystana w tej pracy to VGG16, która jest uważana za skuteczną sieć neuronową do zadań wykrywania i klasyfikacji i może być dostosowywana głównie do techniki transferu uczenia się. Prezentowana metoda opiera się na kategorii Wideo-mowa, gdzie pracujemy nad detekcją sześciu klas emocji, którymi są: neutralna, spokojna, szczęśliwa, smutna, zła i pełna strachu, gdzie uzyskana precyzja wynosi 78,12%.

Słowa kluczowe

EN

visual-speech emotion recognition; transfer learning; VG16

PL

wizualne rozpoznawanie emocji; uczenie się transferowe; VG16

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2024
• Tom: R. 100, nr 8
• Strony: 153--155
• Opis fizyczny: Bibliogr. 12 poz., rys., tab.

Twórcy

autor

Ayadi Souha

• Signal Image and Information Technology(SITI) Laboratory, Department of Electrical Engineering, National Engineering School of Tunis, Campus Universitaire Farhat Hached el Manar BP 37, Le Belvedere 1002 TUNIS

autor

Lachiri Zied

• Signal Image and Information Technology(SITI) Laboratory, Department of Electrical Engineering, National Engineering School of Tunis, Campus Universitaire Farhat Hached el Manar BP 37, Le Belvedere 1002 TUNIS

Bibliografia

• [1] Souha Ayadi and Zied Lachiri. Deep neural network for visual emotion recognition based on resnet50 using song-speech characteristics. In 2022 5th International Conference on Advanced Systems and Emergent Technologies (IC ASET), pages 363–368. IEEE, 2022.
• [2] Souha Ayadi and Zied Lachiri. Visual emotion sensing using convolutional neural network. Przeglad Elektrotechniczny, 98(3), 2022.
• [3] Shuo Cheng and Guohui Zhou. Facial expression recognition method based on improved vgg convolutional neural network. International Journal of Pattern Recognition and Artificial Intelligence, 34(07):2056003, 2020.
• [4] Sefik Emre Eskimez, You Zhang, and Zhiyao Duan. Speech driven talking face generation from a single image and an emotion condition. IEEE Transactions on Multimedia, 24:3480– 3490, 2021.
• [5] Essam H Houssein, Asmaa Hammad, and Abdelmgeid A Ali. Human emotion recognition from eeg-based brain–computer interface using machine learning: a comprehensive review. Neural Computing and Applications, 34(15):12527–12557, 2022.
• [6] Steven R Livingstone and Frank A Russo. The ryerson audiovisual database of emotional speech and song (ravdess): A dynamic, multimodal set of facial and vocal expressions in north american english. PloS one, 13(5):e0196391, 2018.
• [7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.
• [8] PVVS Srinivas and Pragnyaban Mishra. An improvised facial emotion recognition system using the optimized convolutional neural network model with dropout. International Journal of Advanced Computer Science and Applications, 12(7), 2021.
• [9] D Tamil Priya and J Divya Udayan. Transfer learning techniques for emotion classification on visual features of images in the deep learning network. International Journal of Speech Technology, 23:361–372, 2020.
• [10] Hansen Yang, Yangyu Fan, Guoyun Lv, Shiya Liu, and Zhe Guo. Exploiting emotional concepts for image emotion recognition. The Visual Computer, 39(5):2177–2190, 2023.
• [11] Haoyan Yang, Jiangong Ni, Jiyue Gao, Zhongzhi Han, and Tao Luan. A novel method for peanut variety identification and classification by improved vgg16. Scientific Reports, 11(1):15756, 2021.
• [12] Ke Zhang, Yuanqing Li, Jingyu Wang, Erik Cambria, and Xuelong Li. Real-time video emotion recognition based on reinforcement learning and domain knowledge. IEEE Transactions on Circuits and Systems for Video Technology, 32(3):1034–1047, 2021.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).