Pomiary parametrów akustycznych mowy emocjonalnej - krok ku modelowaniu wokalnej ekspresji emocji

• Autorzy: Igras M. , Wszołek W.

Warianty tytułu

EN

Measurements of emotional speech acoustic parameters - a step towards vocal emotion expression modelling

• Języki publikacji: PL

Abstrakty

PL

Niniejsza praca podejmuje próbę pomiaru cech sygnału mowy skorelownych z jego zawartością emocjonalną (na przykładzie emocji podstawowych). Zaprezentowano korpus mowy zaprojektowany tak, by umożliwić różnicową analizę niezależną od mówcy i treści oraz przeprowadzono testy mające na celu ocenę jego przydatności do automatyzacji wykrywania emocji w mowie. Zaproponowano robocze profile wokalne emocji. Artykuł prezentuje również propozycje aplikacji medycznych opartych na pomiarach emocji w głosie.

EN

The paper presents an approach to creating new measures of emotional content of speech signals. The results of this project constitute the basis or further research in this field. For analysis of differences of the basic emotional states independently of a speaker and semantic content, a corpus of acted emotional speech was designed and recorded. The alternative methods for emotional speech signal acquisition are presented and discussed (Section 2). Preliminary tests were performed to evaluate the corpus applicability to automatic emotion recognition. On the stage of recording labeling, human perceptual tests were applied (using recordings with and without semantic content). The results are presented in the form of the confusion table (Tabs. 1 and 2). The further signal processing: parametrisation and feature extraction techniques (Section 3) allowed extracting a set of features characteristic for each emotion, and led to developing preliminary vocal emotion profiles (sets of acoustic features characteristic for each of basic emotions) - an example is presented in Tab. 3. Using selected feature vectors, the methods for automatic classification (k nearest neighbours and self organizing neural network) were tested. Section 4 contains the conclusions: analysis of variables associated with vocal expression of emotions and challenges in further development. The paper also discusses use of the results of this kind of research for medical applications (Section 5).

Słowa kluczowe

PL

rozpoznawanie emocji; wokalne korelaty emocji; przetwarzanie sygnału mowy

EN

emotion recognition; vocal correlates of emotions

• Wydawca: Wydawnictwo PAK
• Czasopismo: Pomiary Automatyka Kontrola
• Rocznik: 2012
• Tom: R. 58, nr 4
• Strony: 335--338
• Opis fizyczny: Bibliogr. 23 poz., rys., tab., wzory

Twórcy

autor

Igras M.

autor

Wszołek W.

• AGH Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, Al. Mickiewicza 30, 30-059 Kraków,

Bibliografia

• [1] Red. Izdebski K.: Emotions in the human voice, Vol. I-III, Plural Publishing, San Diego 2008.
• [2] Tadeusiewicz R.: Sygnał mowy, WKiŁ, Warszawa 1987.
• [3] Ciota Z.: Metody przetwarzania sygnałów akustycznych w komputerowej analizie mowy, Wyd. EXIT Warszawa 2010.
• [4] Ziółko M., Ziółko B.: Przetwarzanie mowy; Wyd. AGH, Kraków 2011.
• [5] Boersma Paul: Praat, A system for doing phonetics by computer. Glot International 5:9/10, 341-345.
• [6] Waaramaa-Maki-Kulmala T.: Emotions in voice - acoustic and perceptual analysis of voice quality in the vocal expression of emotions, University of Tampere 2009.
• [7] Demenko G.: Analiza cech suprasegmentalnych języka polskiego na potrzeby technologii mowy, Wyd. Naukowe UAM, Poznań 1999.
• [8] Lewis M., Haviland-Jones J. M.: Psychologia emocji, Gdańskie Wydawnictwo Psychologiczne, Gdańsk 2005.
• [9] Ekman P., Davidson R.: Natura emocji - podstawowe zagadnienia, Gdańskie Wydawnictwo Psychologiczne, Gdańsk 1999.
• [10] Sidorova J.: Speech Emotion Recognition, DEA report, doctoral program Ci`encia Cognitiva i Llenguatge, Universitat Pompeu Fabra, 2007.
• [11] Schuller B., Rigoll G., and Lang M.: Hidden markov model-based speech emotion recognition, Institute for Human-Computer Communication, 2003.
• [12] Petrushin V. A.: Emotion recognition in speech signal: experimental study, development, and application, Center for Strategic Technology Research (CSTaR), 2000.
• [13] Amir N.: Classifying emotions in speech: a comparison of methods. Holon Academic Institute of Technology, EUROSPEECH 2001, Escandinavia.
• [14] Demuth H., Beale M: Neural Network Toolbox for use with Matlab, mathworks.com
• [15] Kłaczyński M.: Zjawiska wibroakustyczne w kanale głosowym człowieka - rozprawa doktorska, AGH Kraków 2007.
• [16] Alter K., Rank E., Kotz S. A., Pfeifer E., Besson M., Friederici A. D., Matiasek J.: On the relations of semantic and acoustic properties of emotions. In Proceedings of the 14th International Conference of Phonetic Sciences (ICPhS-99), San Francisco, California, 1999.
• [17] Campbell N.: Databases of Emotional Speech. In Cowie R. Douglas-Cowie E. & Schröder M. (Eds.) Proceedings of the ICSA Workshop on Speech and Emotion. Belfast, 2000.
• [18] Petrushin V. A.: Emotion in speech: “Recognition and Application to Call Centers”. Artificial Neu. Net. In Engr. (ANNIE’99), Nov. 1999.
• [19] Pittam J., Scherer K. R.: Vocal expression and communication of emotion. In M. Lewis & J. M. Haviland (Eds.), Hand-book of emotions. New York: Guilford Press. 1993.
• [20] Zetterholm E.: Prosody and voice quality in the expression of emotions. Lund University. In SST Proceedings of the 7th Australian International conference on Speech Science And Technology. Sydney, 1998.
• [21] Tato R., Santos R., Kompe R., Pardo J.: Emotion Recognition in Speech Signal,http://wwwgth.die.upm.es/partners/sony/ main.html
• [22] Tadeusiewicz R., Flasiński M.: Rozpoznawanie obrazów, PWN, Warszawa 1991.
• [23] Wszołek W.: Metody kognitywnej kategoryzacji w zastosowaniu do analizy i klasyfikacji wybranych przypadków mowy patologicznej, Wyd. AGH, Kraków 2011.