Emotion recognition from facial images using binary face relevance maps

• Autorzy: Herud T. , Kawulok M. , Smolka B.

Warianty tytułu

PL

Rozpoznawanie emocji na podstawie obrazów twarzy z użyciem binarnych map istotności

• Języki publikacji: EN

Abstrakty

EN

This paper is focused on automatic emotion recognition from static grayscale images. Here, we propose a new approach to this problem, which combines a few other methods. The facial region is divided into small subregions, which are selected for processing based on a face relevance map. From these regions, local directional pattern histograms are extracted and concatenated into a single feature histogram, which is classified into one of seven defined emotional states using support vector machines. In our case, we distinguish: anger, disgust, fear, happiness, neutrality, sadness and surprise. In our experimental study we demonstrate that the expression recognition accuracy for Japanese Female Facial Expression database is one of the best compared with the results reported in the literature.

PL

W artykule tym przedstawiono zagadnienie rozpoznawania emocji na podstawie obrazów w skali szarości. Prezentujemy w nim nowe podejście, stanowiące połączenie kilku istniejących metod. Obszar twarzy jest dzielony na mniejsze regiony, które są wybierane do dalszego przetwarzania, z uwzględnieniem binarnych map istotności. Z każdego regionu ekstrahowany jest histogram lokalnych wzorców binarnych, a następnie histogramy są składane do wektora cech i klasyfikowane za pomocą maszyny wektorów podpierających. W naszym przypadku rozróżniamy takie emocje, jak: gniew, wstręt, strach, szczęście, neutralność, smutek i zaskoczenie. Podczas naszych eksperymentów pokazaliśmy, że nasze podejście umożliwia poprawę skuteczności rozpoznawania emocji dla bazy Japanese Female Facial Expression względem innych istniejących metod.

Słowa kluczowe

EN

emotion recognition; local binary patterns; face recognition

PL

rozpoznawanie emocji; lokalne wzorce binarne; rozpoznawanie twarzy

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2015
• Tom: Vol. 36, nr 4
• Strony: 29--41
• Opis fizyczny: Bibliogr. 21 poz.

Twórcy

autor

Herud T.

• University of Technology, Institute of Informatics, ul. Akademicka 16, 44-100 Gliwice, Poland

autor

Kawulok M.

• University of Technology, Institute of Informatics, ul. Akademicka 16, 44-100 Gliwice, Poland

autor

Smolka B.

• Silesian University of Technology, Institute of Automatic Control, ul. Akademicka 16, 44-100 Gliwice, Poland

Bibliografia

• 1. Ekman P., Hager J. C., Oster H.: Emotion in the Human Face. Cambridge University Press, 1982.
• 2. Kawulok M., Wu J., Hancock E. R.: Supervised relevance maps for increasing the distinctiveness of facial images. Pattern Recognition, vol. 44, 2011, p. 929÷939.
• 3. He D.-C. and Wang L.: Texture unit, texture spectrum, and texture analysis. Geoscience and Remote Sensing, vol. 28, 1990, p. 509÷512.
• 4. Ojala T., Pietikainen M., Maenpaa T.: Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. Pattern Analysis and Machine Intelligence, vol. 24, 2002, p. 971÷987.
• 5. Ahonen T., Hadid A., Pietikainen M.: Face description with local binary patterns: application to face recognition. Pattern Analysis and Machine Intelligence, vol. 28, 2006, p. 2037÷2041.
• 6. Zhao G., Pietikainen M.: Dynamic texture recognition using local binary patterns with an application to facial expressions. Pattern Analysis and Machine Intelligence, vol. 29, 2007, p. 915÷928.
• 7. Feng X., Pietikinen M., Hadid A.: Facial expression recognition with local binary patterns and linear programming. Pattern Recognition and Image Analysis, vol. 15, 2005, p. 546÷548.
• 8. Shan C., Gong S., McOwan P. W.: Facial expression recognition based on local binary patterns: A comprehensive study. Image Vision Comput., vol. 27, 2009, p. 803÷816.
• 9. Jabid T., Kabir M., Chae O.: Local directional pattern (ldp) for face recognition. Consumer Electronics, January 2010, p. 329÷330.
• 10. Rivera A. R., Castillo J. R., Chae O.: Local directional texture pattern image descriptor. Pattern Recognition Letters, vol. 51, 2051, p. 94÷100.
• 11. Kimura S., Yachida, M.: Facial expression recognition and its degree estiestimation. Computer Vision and Pattern Recognition, June 1997, p. 295÷300.
• 12. Otsuka T., Ohya J.: Spotting segments displaying facial expression from image sequences using hmm. Automatic Face and Gesture Recognition, April 1998, p. 442÷447.
• 13. Lowe D.: Object recognition from local scale-invariant features. Computer Vision, vol. 2, 1999, p. 1150÷1157.
• 14. Soyel, H., Demirel H.: Improved sift matching for pose robust facial expression recognition. Automatic Face Gesture Recognition and Workshops, March 2011, p. 585÷590.
• 15. Tariq U., Lin K.-H., Li Z., Zhou X., Wang Z., Le V., Huang T., Lv X., Han, T.: Emotion recognition from an ensemble of features. Automatic Face Gesture Recognition and Workshops, March 2011, p. 872÷877.
• 16. Essa I., Pentland A.: Coding, analysis, interpretation, and recognition of facial expressions. Pattern Analysis and Machine Intelligence, vol. 19, 1997, p. 757÷763.
• 17. Vapnik V.: Pattern recognition using generalized portrait method. Automation and Remote Control, vol. 24, 1963, p. 774÷780.
• 18. Boser B. E., Guyon I. M., Vapnik V. N.: A training algorithm for optimal margin classifiers. Proceedings of the Fifth Annual Workshop on Computational Learning Theory, 1992, p. 144÷152.
• 19. Cortes C. and Vapnik V.: Support-vector networks. Machine Learning, vol. 20, 1995, p. 273÷297.
• 20. Zhang Z.: Feature-based facial expression recognition: Sensitivity analysis and experiments with a multilayer perceptron. International Journal of Pattern Recognition and Artificial Intelligence, vol. 13, 1999, p. 893÷911.
• 21. Guo G., Dyer C.: Simultaneous feature selection and classifier training via linear programming: a case study for face expression recognition. Computer Vision, June 2003, p. I-346÷I-352.