Zastosowanie multimodalnej klasyfikacji w rozpoznawaniu stanów emocjonalnych na podstawie mowy spontanicznej

• Autorzy: Kamińska D. , Pelikant A.

Warianty tytułu

EN

Spontaneus emotion redognition from speech signal using multimodal classification

• Języki publikacji: PL

Abstrakty

PL

Artykuł prezentuje zagadnienie związane z rozpoznawaniem stanów emocjonalnych na podstawie analizy sygnału mowy. Na potrzeby badań stworzona została polska baza mowy spontanicznej, zawierająca wypowiedzi kilkudziesięciu osób, w różnym wieku i różnej płci. Na podstawie analizy sygnału mowy stworzono przestrzeń cech. Klasyfikację stanowi multimodalny mechanizm rozpoznawania, oparty na algorytmie kNN. Średnia poprawność: rozpoznawania wynosi 83%.

EN

The article presents the issue of emotion recognition from a speech signal. For this study, a Polish spontaneous database, containing speech from people of different age and gender, was created. Features were determined from the speech signal. The process of recognition was based on multimodal classification, related to kNN algorithm. The average of accuracy performance was up to 83%.

Słowa kluczowe

PL

rozpoznawanie emocji; sygnał mowy; algorytm kNN

EN

emotion recognition; speech signal; k-NN algorithm

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2012
• Tom: nr 3
• Strony: 36--39
• Opis fizyczny: Bibliogr. 22 poz., rys., tab.

Twórcy

autor

Kamińska D.

autor

Pelikant A.

• Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki,

Bibliografia

• [I] Basztura C.: Komputerowe systemy diagnostyki akustycznej, Wydawnictwo Naukowe PWN, Warszawa 1996.
• [2] Ciota Z.: Metody przetwarzania sygnałów akustycznych w komputerowej analizie mowy, Akademicka Oficyna Wydawnicza EX IT, Warszawa 2010.
• [3] Chiangkai E.: Speech recognition by clustering wavelet and PLP coefficients, Massachusetts Institute of Technology, Massachusetts, 1997.
• [4] Gaurav M.: Performance analysis of spectral and prosodic features and their fusion for emotion recognition in speech. Proc. Spoken Language Technology Workshop 2008, Goa, India, p. 313- 316.
• [5] lzdebski K.: Emotions in the Human Voice, Volume I Foundations, San Diego, 2007.
• [6] Kamaruddin N., Wahab A.: Driver behavior analysis through speech emotion understanding, Intelligent Vehicles Symposium (IV), 2010 I EEE, p. 238- 243.
• [7] Narayanan S., Bussa C., Lee S.: Analysis of emotionally salient aspects of fundamental frequency for emotion detection. I EEE Transactions on audio, speech, and language processing, Volume: 17, Issue: 4, 2009, p. 582- 596.
• [8] Niewiadomy D., Pelikant A.: Implementation of isolated words boundaries recognition, Proc. XII International Conference System Modeling and Control SMC'2007, Zakopane 2006.
• [9] Plutchik R.: The nature of emotion, American Scientist, Volume 89, July-August 2001 , p. 344-350.
• [10] Polzehl T., Schmitt A., Metze F.: Approaching multi-lingual emotion recognition ­ from speech - on language dependency of acoustic/prosodic features for anger recognition. Proc. of Speech Prosody, Chicago 2010.
• [11] Razak A., Komiya R., Abidin M.: Comparison between fuzzy and nn method for speech emotion recognition. Proc. Information Technology and Applications, ICITA 2005, p. 297-302.
• [12] Scherer K., Goudbeek M., Goldman J.P.: Emotion dimensions and formant pastion, Proc. Interspeech 2009, Brighton UK, 2009.
• [13] Shaukat A., Chen K.: Emotional state recognition from speech via soft-competition on different acoustic representations. Proc. Neural Networks (IJCNN), 2011 , p. 1910-1917.
• [14] Soltani K., Ainon R.: Speech emotion detection based on neural networks, Proc. Signal Processing and Its Applications, 2007, p. 1-3.
• [15] Ślot K.: Rozpoznawanie biometryczne, WKiŁ, Warszawa, 2010.
• [16] Turkot M., Janicki A.: Rozpoznawanie stanu emocjonalnego mówcy z wykorzystaniem maszyny wektorów wspierających (SVM), Materiały konferencyjne: KSTiT, Bydgoszcz, 2008.
• [17] Wang Y., Guan L: Recognizing human emotional state from audiovisual signals, Proc. I EEE Transactions on multimedia, vol. 10, 2008, p. 659-668.
• [18] Yeqing Y., Tao T.: An new speech recognition method based on prosodic analysis and SVM in Zhuang language, Proc. 2011 International Conference on Mechatronic Science, Electric Engineering and Computer, 2011, p. 1209-1212.
• [19] Zieliński T.: Cyfrowe przetwarzanie sygnałów. Od teorii do zastosowań. WKiŁ, Warszawa 2007.
• [20] https://www.msu.ed u/course/
• [21] http://pascal.kgw.tu-berlin.de
• [22] http://www.eletel.p.lodz.pl/med/