Interaktywna sonifikacja obrazów dla niewidomych – badania pilotażowe

• Autorzy: Borowiecka I. , Skulimowski S. , Bujacz M. , Strumiłło P. , Radecki A.

Identyfikatory

DOI

10.15199/48.2016.09.26

Warianty tytułu

EN

Interactive sonification of images – a pilot study

• Języki publikacji: PL

Abstrakty

PL

Artykuł dotyczy problemu prezentacji informacji o obrazach z wykorzystaniem techniki sonifikacyjnej polegającej na dźwiękowym, niewerbalnym opisie obrazów często określanej również mianem "wyświetlania dźwiękowego" (ang. auditory display). Omówiono krótko podstawowe metody sonifikacji stosowane w prezentacji obrazów. W referacie skupiono się na tzw. interaktywnej sonifikacji obrazów, w której użytkownik systemu wskazuje dotykiem obszar obrazu do udźwiękowienia. W pracy opisano aplikację mobilną, służącą do nauki matematyki dla dzieci niewidomych, którą poddano testom użytkowym w szkole dla dzieci niewidomych. Program służy jako pomoc w nauce przebiegów wykresów funkcji wyświetlanych na ekranie dotykowym. Przemieszczenie palca wzdłuż wykresu funkcji powoduje wygenerowanie tonu o określonej częstotliwości, w miarę oddalania się od wykresu częstotliwość tonu jest zmniejszana. Oceniono przydatność takiej pomocy dydaktycznej w testach z docelowymi użytkownikami.

EN

The paper concerns the problem of presenting visual information using image sonification – nonverbal auditory description often referred to as „auditory display”. Common methods used in sonification of images are described. The paper focuses on so called interactive sonification, which allows the user to select an image area for auditory presentation. The paper describes a mobile application created for teaching math to blind children and tested in a school for the blind. The software aids in teaching the shape of function plots displayed on a touchscreen (moving a finger across the display generates a tone dependant on the proximity to the plotted line, with frequency increasing as the distance decreases). The usefulness of such an application in the teaching process was tested with blind users.

Słowa kluczowe

PL

substytucja sensoryczna; interaktywna sonifikacja; Android; osoby niewidome; tyflopedagogika

EN

sensory substitution; interactive sonification; Android; visually impaired; education of the blind

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2016
• Tom: R. 92, nr 9
• Strony: 98--101
• Opis fizyczny: Bibliogr. 11 poz., rys.

Twórcy

autor

Borowiecka I.

• Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Skulimowski S.

• Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Bujacz M.

• Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Strumiłło P.

• Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki, Instytut Elektroniki, ul. Wólczańska 211/215, 90-924 Łódź

autor

Radecki A.

• Wólczańska 211/215, 90-924 Łódź, dr inż. Andrzej Radecki, Politechnika Łódzka, Wydział Elektrotechniki, Elektroniki, Informatyki i Automatyki, Instytut Automatyki, ul. B. Stefanowskiego 18/22, 90-924 Łódź

Bibliografia

• [1] Hermann T., Hunt A., Neuhoff J., Eds. Sonification Handbook, Logos Publishing House, Berlin, 2011
• [2] Kramer G., Sonification of Financial Data: An Overview of Spreadsheet and Database Sonification, The Proceedings of Virtual Reality Systems '93, SIG Advanced Applications, New York, NY, 1993
• [3] Hermann T., Hunt A., An Introduction to Interactive Sonification, IEEE Multimedia, April-June, vol. 12, (2005), no. 2, 20-24
• [4] Special Issue on Interactive Sonification, IEEE Multimedia, vol. 12, (2005), no. 2
• [5] Krzywicka-Blum E., Kuchmister J., Modelowanie sonoryczne w edukacji niewidomych, Katedra Geodezji i Fotogrametrii Akademii Rolniczej, Wrocław, 1999
• [6] Meijer P.B.L., An Experimental System for Auditory Image Representations, IEEE Transactions on Biomedical Engineering, vol. 39, (1992), no. 2, 112-121
• [7] Sarkar R., Bakshi S., K’Sa P., Review on Image Sonification: A Non-visual Scene Representation, Int. Conf. on Recent Advances in Information Technology RAIT2012, 2012
• [8] Alonso M., Shelley S., Hermes D., Kohlrausch A., Evaluating geometrical properties of virtual shapes using interactive sonification, In: IEEE International Workshop on Haptic Audio visual Environments and Games 2008, 154-159, 2008
• [9] Tian Y.A., Vision Substitution Method for the Blind Based on Image Edge Detection and Sound Mapping, Third International Conference on Computational Intelligence, Communication Systems and Networks, 208-212, 2011
• [10] Borowiecka I., Mobilny system wspomagania nauki matematyki dla osób słabowidzących, praca inżynierska, Instytut Elektroniki Politechniki Łódzkiej, 2015
• [11] Maidenbaum S., Buchs G., Abboud S., Lavi-Rotbain O., Amedi A., Perception of Graphical Virtual Environments by Blind Users via Sensory Substitution, PLOS ONE, doi:10.1371/journal.pone.0147501, 2016

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.