Realistic modelling of facial expressions using vol ume morphing

• Autorzy: Kowalski P.

Warianty tytułu

PL

Realistyczne modelowanie wyrazu twarzy z wykorzystaniem morfingu

• Języki publikacji: EN

Abstrakty

EN

The article presents experiments in realistic modelling of facial expressions using volume morphing. The experiments use a variable number of points and face features. As the results are shown meshes deviations (between goal mesh and morphed shape). Experiments have shown that it is impossible to carry out a fully realistic morphing based on existing software. At the same time, even imperfect morphing allows you to show the expected emotional facial expression.

PL

Artykuł prezentuje wyniki eksperymentów dla przestrzennej siatki twarzy z jednego jej wyrazu (ekspresji) do drugiego. Dla eksperymentów wykorzystano dane pozyskane przy pomocy skanera 3dMD, obejmujące kilka twarzy, z których część przedstawia różne stany emocjonalne. Ograniczono się przy tym, do wyraźnie rozróżnialnych stanów (śmiech, skupienie, smutek). Do przekształcania siatek wykorzystano procedurę 'polygon morphing' pakietu RapidForm2006. W trakcie prac skupiono się na zagadnieniu wyboru zestawu znaczników (punktów charakterystycznych), niezbędnego dla realistycznego modelowania wyrazu emocjonalnego twarzy przy pomocy morfingu. Uzyskane wyniki poddano porównaniu z docelową siatką. Rozkład błędów dopasowania wskazuje na te części twarzy, które nie zostały odpowiednio dopasowane. Rozkład ten pozwala wnioskować na temat istotnych obszarów twarzy, które wymagają zdefiniowania dodatkowych punktów charakterystycznych. Definiowanie punktów charakterystycznych napotyka dwa ograniczenia: • ograniczenie programowe, związane z wykorzystywanym oprogramowaniem (maksymalnie pięćdziesiąt par punktów charakterystycznych); • ograniczenia rozpoznawalnych cech charakterystycznych, które mogą zostać wskazane przez operatora. W trakcie prac osiąnięto pewien kompromis, ograniczając się do mniej niż 50 punktów charakterystycznych, które odtwarzają najważniejsze elementy twarzy istotne dla przedstawienia emocji. Uzyskany wynik nie jest jednak w pełni zadowalający, gdyż część elementów twarzy, zwłaszcza okolice ust, pozostaje bardzo plastycznych, nie zapewniając jednocześnie potencjalnych punktów charakterystycznych.

Słowa kluczowe

EN

3D scanner; 3D mesh; face expression; morphing

PL

skaner 3D; siatki 3D; wyraz twarzy; morfing

• Wydawca: Instytut Informatyki Teoretycznej i Stosowanej Polskiej Akademii Nauk
• Czasopismo: Theoretical and Applied Informatics
• Rocznik: 2014
• Tom: Vol. 26, No. 3-4
• Strony: 137--148
• Opis fizyczny: Bibliogr. 14 poz., rys.

Twórcy

autor

Kowalski P.

• Institute of Theoretical and Applied Informatics Polish Academy of Science ul. Bałtycka 5, Gliwice, Poland

Bibliografia

• [1] Bailenson J.N., Pontikakis E.D., Mauss I.B., Gross J.J., Jabon M.E., Hutcherson C.A.C., Nass C., John O., Real-time classification of evoked emotions using facial feature tracking and physiological responses, International Journal of Human-Computer Studies, vol. 66, 2008, pp. 303-317
• [2] Blanz V., Overview Facial Animation Techniques, SIGGRAPH 2004
• [3] Bruce V., Young A., Face Perception, Psychology Press, 2012
• [4] Delingette H., Subsol G., Cotin S., Pignon J., A Craniofacial Surgery Simulation Testbed, Proceedings of the Visualization for Biomedical Computing, Rochester, 1994
• [5] Fang S., Srinivasan R., Raghavan R., Richtsmeier J.T., Volume morphing and rendering—An integrated approach, Computer Aided Geometric Design, vol. 17, 2000, pp. 59-81
• [6] Hui K.C., Leung H.C., Expression modeling – a boundary element approach, Computer & Graphics, vol. 30, 2006, pp. 981-993
• [7] Kshirsagar S., Garchery S., Magnenat-Thalmann N., Feature Point Based Mesh Deformation Applied To MPEG-4 Facial Animation, DEFORM ‘00/AVATARS ’00 Proceedings of the IFIP TC5/WG5.10 DEFORM’2000 Workshop and AVATARS’2000 Workshop on Deformable Avatars 2001
• [8] Martinez A., Du S., A Model of the Perception of Facial Expressions of Emotion by Humans: Research Overview and Perspectives, Journal of Machine Learning Research, vol. 13, 2012, pp. 1589-1608
• [9] Pęszor D., Wojciechowski K., Wojciechowska M., Automatic markers' influence calculation for facial animation based on performance capture, ACIIDS 2015 (paper accepted)
• [10]. Parke F., Parametrized Face Models, SIGGRAPH2004
• [11] Pighin F., Hecker J., Lischinski D., Szeliski R., Salesin D., Synthesizing Realistic Facial Expressions from Photographs, Proceedings of ACM SIGGRAPH'98, New York, NY, 1998, pp. 75-84
• [12] Skabek K., Łapczyński D., Reconstruction of Head Surface Model from Single Scan, CORES 2013, pp. 483-492
• [13] Zhang Y., Prakash E.C., Sung E., Hierarchical Facial Data Modeling for Visual Expression Synthesis, Journal of Visualization, Vol. 6., No. 3, 2003, pp. 313-320
• [14] Zhang Y., Wei W., A realistic dynamic facial expression transfer method, Neurocomputng, vol. 89, 2012, pp. 21-29