Vision-based eye-blink detection system for mental fatigue monitoring and human-computer interfacing

• Autorzy: Królak A.

Warianty tytułu

PL

Wizyjny system analizy mrugnięć do oceny zmęczenia psychicznego i komunikacji z komputerem

• Języki publikacji: EN

Abstrakty

EN

The paper presents an algorithm for detection of the eye-blinks in image sequences. The employed image processing methods include well-known solutions, such as Haar-like face detection and template matching based eye tracking, as well as newly developed algorithms for skin colour segmentation and modified active contour model with ellipse fitting for eye-blink detection. The developed algorithm was used for human fatigue monitoring and as a core of the eye-blink controlled human-computer interface.

PL

W pracy przedstawiono wizyjny system detekcji i analizy mrugnięć powiekami. Zastosowano rozwiązania, takie jak: wykrywanie twarzy za pomocą kaskady klasyfikatorów wykorzystujących cechy obliczane na podstawie masek Haara, dopasowanie wzorca oraz metodą aktywnego konturu. Zaproponowano nowy algorytm segmentacji koloru skóry. Opracowany zestaw algorytmów pozwala na bieżąco wykrywać i analizować mrugnięcia dla ~27 klatek na sekundę dla sekwencji obrazów o rozdzielczoci 320x240 pikseli. Implementacja opracowanego algorytmu została wykorzystana w programie komputerowym do oceny poziomu zmęczenia osoby. Przeprowadzone badania wykazały, że opracowany system wizyjny umożliwia skuteczną detekcję mrugnięć w sekwencjach obrazów twarzy oraz pozwala na analizę zmian parametrów mrugania w czasie, wystarczającą do oceny poziomu zmęczenia osoby. Zaproponowany algorytm detekcji mrugnięć został wykorzystany do budowy interfejsu człowiek-komputer sterowanego mruganiem. Zbudowany interfejs poddano testom z udziałem osób zdrowych, jak i niepełnosprawnych. Wyniki testów pokazały, że opracowany algorytm może służyć do kontroli kursora myszy oraz emulacji przycisków myszy i klawiatury poprzez zamierzone mruganie, a dzięki temu pozwala na skuteczną komunikację z komputerem.

Słowa kluczowe

EN

eye blink; eye blink detection; Haar-like face; mental fatigue; human-computer interface; algorithms for skin colour segmentation; active contour model

PL

mrugnięcia powiekami; detekcja mrugnięć; maski Haara; zmęczenie psychiczne; interfejs człowiek-komputer; algorytm segmentacji koloru skóry; metoda aktywnego konturu

• Wydawca: Wydawnictwo Politechniki Łódzkiej
• Czasopismo: Zeszyty Naukowe. Elektryka / Politechnika Łódzka
• Rocznik: 2010
• Tom: z. 122
• Strony: 29--36
• Opis fizyczny: Bibliogr. 10 poz.

Twórcy

autor

Królak A.

• Technical University of Łódź, Institute of Electronics

Bibliografia

• [1] Cudalbu C., Anastasiu B., Radu R., Cruceanu R., Schmidt E., Barth E.: Driver monitoring with a single high-speed camera and IR illumination, International Symposium on Signals, Circuits and Systems, vol. 1, pp. 219-222, 2005.
• [2] Hayward E.: Reaching Through The Locked Door, Boston College Chronicle, Jan. 15, 2009.
• [3] Byeon M.-K., Han S.-W., Min H.-K., Wo Y.-S., Park Y.-B., Huh W.: A Study of HRV Analysis to Detect Drowsiness States of Drivers, Proceedings of the 24th IASTED international conference on Biomedical engineering, pp. 153-155, 2006.
• [4] Stern J.A., Walrath L.C., Goldstein R.: The endogenous eyeblink, Psychophysiology, vol. 21(1), pp. 22-33, 1984.
• [5] Viola P., Jones, M.: Rapid object detection using a boosted cascade of simple features, Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society, vol. 1, pp. 511- 518, 2001.
• [6] Oguz O.: The proportion of the face in younger adults using the thumb rule of Leonardo da Vinci, Journal of Surgical and Radiologic Anatomy, vol. 18(2), pp. 111-114, 1996.
• [7] Otsu N.: A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics, vol. 9, no. 1, pp. 62-66, 1979.
• [8] Kass M., Witkin A., Terzopoulos D.: Snakes: Active Contour Models, International Journal of Computer Vision, pp. 321-331, 1988.
• [9] Wierwille W.W., Ellsworth, L.A.: "Evaluation of driver drowsiness by trained raters", Accid. Anal. Prev. 26 (5), pp. 571-581, 1994.
• [10] Olson D.L., Delen D.: Advanced Data Mining Techniques, Springer 1st edition, pp. 138, 2008.