Virtual keyboard controlled by eye gaze employing speech synthesis

• Autorzy: Łopatka K. , Rybacki R. , Kunka B. , Czyżewski A. , Kostek B.

Warianty tytułu

PL

Wirtualna klawiatura sterowana wzrokiem, wykorzystująca syntezę mowy

• Języki publikacji: EN

Abstrakty

EN

The article presents the speech synthesis integrated into the eye gaze tracking system. This approach can significantly improve the quality of life of physically disabled people who are unable to communicate. The virtual keyboard (QWERTY) is an interface which allows for entering the text for the speech synthesizer. First, this article describes a methodology of determining the fixation point on a computer screen. Then it presents an algorithm of concatenative speech synthesis used in the engineered solution. Both modules of the system described were created by the Multimedia Systems Department. The work of the entire system was verified in real conditions. Conclusions focusing on the usefulness of this approach are provided.

PL

W artykule przedstawiono zastosowanie syntezy mowy w zintegrowanym w systemie śledzenia punktu fiksacji wzroku. Takie podejście w znaczący sposób może przyczynić się do poprawy jakości życia osób niepełnosprawnych fizycznie, które nie mają możliwości komunikowania się. Interfejsem umożliwiającym wprowadzanie do syntetyzera mowy tekstu jest wirtualna klawiatura z rozkładem klawiszy QWERTY. W pierwszej części artykułu przedstawiono sposób wyznaczania punktu fiksacji wzroku na monitorze komputerowym za pomocą stworzonego w Katedrze Systemów Multimedialnych systemu o nazwie Cyber-Oko. W drugiej części zaprezentowano algorytm syntezy mowy konkatenacyjnej, który jest wykorzystywany w zaproponowanym rozwiązaniu. Sprecyzowano odpowiednie wnioski na temat użyteczności takiego podejścia oraz zweryfikowano pracę systemu w warunkach rzeczywistych.

Słowa kluczowe

EN

speech synthesis; virtual keyboard; gaze tracking system

PL

synteza mowy; wirtualna klawiatura; system śledzenia punktu fiksacji

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2011
• Tom: Vol. 52, nr 1
• Strony: 39--42
• Opis fizyczny: Bibliogr. 11 poz., il., wykr.

Twórcy

autor

Łopatka K.

autor

Rybacki R.

autor

Kunka B.

autor

Czyżewski A.

autor

Kostek B.

• Politechnika Gdańska, Katedra Systemów Multimedialnych

Bibliografia

• [1] Chappell D., Hansen J.: A comparison of spectral smoothing methods for segment concatenation based speech synthesis. Speech Communication 36 343-374, 2002.
• [2] Ciger J., Herbelin B., Thalmann D.: Evaluation of Gaze Tracking Technology for Social Interaction in Virtual Environments. Proc. 2nd Workshop on Modeling and Motion Capture Techniques for Virtual Environments, CAPTECH04, Zermatt, CH, 9-11 December 2004.
• [3] Fujisaki H.: Dynamic Characteristics of Voice Fundamental Frequency in Speech and Singing. The Production of Speech, P.F. MacNeilage (ed.), Springer-Verlag New York Heidelberg Berlin, pp. 39-47, 1983.
• [4] Hammer F.: Time-scale modification using the phase vocoder. Institute for Electr. Music and Ac, Graz Univ. of Dramatic Arts, Graz 2001.
• [5] Kunka B., Czyżewski A., Kostek B.: Concentration tests: an application of gaze tracker to concentration exercises. 1 st International Conference on Computer Supported Education, Lisbon, 2009.
• [6] Kunka B., Kostek B.: A New Method of Audio-Visual Correlation Analysis. International Multiconference on Computer Science and Information Technology, 4, pp. 497-502, Mrągowo, Poland.
• [7] Kunka B., Kostek B., Kulesza M., Szczuko P., Czyżewski A.: Gaze-Tracking-Based Audio-Visual Correlation Analysis Employing Quality of Experience Methodology. Intelligent Decision Technologies, ISSN 1872-4981/10, 2010, pp. 217-227.
• [8] Laroche J., Dolson M.: Improved phase vocoder time-scale modification of audio, IEEE Trans. on Speech and Aud. Proc, 7,3, New York, 05.1999.
• [9] Moulines E., Charpentier R.: Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones. Speech Communication, 453-467, 1.08.1990.
• [10] Nguyen A., Chandran V., Sridharan S.: Visual attention based roi maps from gaze tracking data. 2004 International Conference on Image Processing: (ICIP'2004) International Conference on Image Processing, Singapore, 24-27 October 2004 fhttp://cat.inist.fr/?aModele=afficheN&cpsidt=17612222l
• [11] Pfitzinger H. R.: DFW-based spectral smoothing for concatenative speech synthesis. Int. Conf. on Speech and Language Processing, 2, 1397-1400, 2004.