Wykorzystanie analizy obrazu ruchów głowy w multimedialnym interfejsie komputerowym

• Autorzy: Kosikowski Ł. , Dalka P. , Odya P.

Warianty tytułu

EN

Visual analysis of head movements applicable to multimedia content browser

• Języki publikacji: PL

Abstrakty

PL

Opracowany interfejs komputerowy umożliwia przeglądanie obrazów statycznych, materiału wizyjnego i fonicznego. Obrazy mogą być przeglądane i wyświetlane w trybie pełnoekranowym. Pliki multimedialne są ułożone w hierarchicznej, wielopoziomowej strukturze. Użytkownik nawiguje po tej strukturze i wyświetla poszczególne elementy poprzez ruch głową w górę, dół, lewo i prawo. Akcja wykonywana przez system zależy od typu zawartości, którą ogląda użytkownik (np. ruch głową w prawo wybiera kolejne zdjęcie lub pozwala na przewinięcie filmu). Obrazy twarzy użytkownika są przechwytywane z użyciem standardowej kamery internetowej podłączonej do komputera. Detekcja twarzy w każdej ramce obrazu jest realizowana z wykorzystaniem połączonych w kaskadę klasyfikatorów, bazujących na parametrach, obliczanych podobnie, jak współczynniki w falkowej transformacji Haara.

EN

A contactless multimedia system for personal computers for content browsing, based on the user's head movements only, is presented. The solution engineered supports browsing static images, videos and music. Images can be browsed subsequently and zoomed on demand. Video clips can be viewed and paused. Additionally, a user may fast-forward or rewind the content. The same functionality applies to listening audio files. Multimedia files are arranged in a hierarchical, multi-level structure. A user navigates through the structure and displays an element moving the head up, down, left and right. Keeping head in a tilted position for a longer time is also recognized. An action executed in the system depends on the type of the content a user is viewing (e.g. moving head to the right selects the next picture or allows for fast-forwarding video files). The content for the multimedia browser is chosen and organized with a separate configuration application that was also developed within the framework of this work. The user's face images are captured with a standard webcam connected to the computer, whereas the face detection is based on a cascade of boosted classifiers using Haar-like features. The face (head) position is processed with the Finite State Machine. Some spatial and time dependencies are used for this purpose. Additionally, head movements caused by whole body movement (e.g. walking in front of the camera) are detected and neglected.

Słowa kluczowe

PL

analiza obrazu ruchów głowy; multimedialny interfejs komputerowy

EN

visual analysis of head movements; multimedia content browser

• Wydawca: Wydział Elektroniki, Telekomunikacji i Informatyki Politechniki Gdańskiej
• Czasopismo: Zeszyty Naukowe Wydziału ETI Politechniki Gdańskiej. Technologie Informacyjne
• Rocznik: 2010
• Tom: T. 19
• Strony: 203--208
• Opis fizyczny: Bibliogr. 5 poz., rys.

Twórcy

autor

Kosikowski Ł.

autor

Dalka P.

autor

Odya P.

• Politechnika Gdańska Katedra Systemów Multimedialnych

Bibliografia

• [1] Viola P., Jones M.: Rapid Object Detection using a Boosted Cascade of Simple Features, IEEE CVPR, 2001.
• [2] Lienhart R., Maydt J.: An Extended Set of Haar-like Features for Rapid Object Detection, IEEE ICIP 2002, vol. 1, s. 900-903, 2002.
• [3] Farnebäck G.: Fast and accurate motion estimation using orientation tensors and parametric motion models, Proc. Int. Conf. Pattern Recognition, vol. 1, s. 135-139, 2000.
• [4] Lee D., Yannakakis M.: Principles and methods of testing finite state machines-a survey, Proceedings of the IEEE, vol. 84, no. 8, s. 1090-1123, 2000.
• [5] Andrade Ch., Livermore Sh., Meyers M., Van Vliet S.: Professional WPF Programming: .Net Development with the Windows Presentation Foundation, Wiley Publishing, Inc., 2007.