System rekonstrukcji scen rzeczywistych dla potrzeb prezentacji dotykowej otoczenia trójwymiarowego niewidomym

• Autorzy: Morański M. , Materka A.

Warianty tytułu

EN

A haptic presentation of 3D objects for the visually disabled : experimental study

• Konferencja: Krajowa Konferencja Elektroniki. Sesja Specjalna InTechFun POIG.01.03.01-00-159/08 (11. 11-14.06. 2012 ; Darłówko Wschodnie, Polska)
• Języki publikacji: PL

Abstrakty

PL

W artykule przedstawiono skonstruowany prototyp systemu rejestracji, rekonstrukcji oraz prezentacji dotykowej rzeczywistych scen trójwymiarowych. Składa się on z kamery aktywnej czasu przelotu (SR3000), która służy do rejestracji sceny, komputera przenośnego oraz interfejsu dotykowego (Falcon Novint). Program komputerowy przetwarza mapę głębi dostarczoną przez kamerę. Segmentacja ma na celu znalezienie obiektów i płaszczyzn w scenie oraz określenie ich rozmiarów i położenia. Przed umiejscowieniem przeszkód w wirtualnej scenie zostają one zastąpione przez prostopadłościany o wymiarach proporcjonalnych do ich rozmiarów. Następnie generowana jest wirtualna scena. Podłączony do komputera manipulator dotykowy pozwala poczuć kształty i określić położenie wirtualnych obiektów bez używania zmysłu wzroku. System zaprojektowano i zbudowano w celach wykorzystania do wspomagania nawigacji osób niewidomych i słabowidzących.

EN

This document describes a prototype system which allowed for real scenes to automatically appear in a virtual reality (by means of a time-of-flight 3D camera) and to be accessed in the haptic form. The prototype consists of an active time of flight camera (SR3000), a laptop and a Falcon Novint haptic interface. The camera provides information about the distance by calculating the time of flight of the emitted light. A 2.5D depth map and an amplitude image are calculated at the output. The camera is connected to the remote computer. On a laptop, the depth map is segmented in order to extract all obstacles from the acquired scene. This process allows gathering information (i.e. objects' location and sizes) that is used to create a virtual scene. The Falcon Novint haptic game controller is used for presentation of the virtual scenario. In a virtual reality, the real obstacles are substituted by 3D boxes whose sizes' and locations' correspond to the ones of real objects'. Using her/his sense of touch the blind user accesses information about the content of the observed scenes.

Słowa kluczowe

PL

rekonstrukcja scen 3D; segmentacja; czas przelotu; wspomaganie niewidomych; manipulator dotykowy; substytucja zmysłów; rzeczywistość wirtualna

EN

3D scene reconstruction; segmentation; time-of-flight; aids for the blind; haptic device; sense substitution; virtual reality

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2012
• Tom: Vol. 53, nr 9
• Strony: 79--82
• Opis fizyczny: Bibliogr. 15 poz., il., rys.

Twórcy

autor

Morański M.

autor

Materka A.

• Politechnika Łódzka, Instytut Elektroniki

Bibliografia

• [1] Strumiłło P.: Elektroniczne systemy nawigacji osobistej dla niewidomych i słabowidzących. Politechnika Łódzka, 2012.
• [2] http://www.mesa-imaging.ch - strona internetowa firmy Mesa Imaging.
• [3] http://www.pmdtec.com - strona internetowa firmy PMD Technologies.
• [4] http://pl.wikipedia.org/wiki/Kinect
• [5] M. Morański, A. Materka: Time-of-flight versus stereovision in depth sensing applications: experimental study. Elektronika Konstrukcje, Technologie, Zastosowania nr 3/2010.
• [6] http://www.disneyresearch.com/research/projects/hci_teslatouch_drp.htm/technology.html/teslatouchuist-2010.pdf - opis zasady działania interfejsu elektrowibracyjnego.
• [7] http://senseg.com - strona internetowa firmy Senseg.
• [8] http://www.sensable.com/haptic-phantom-desktop.htm - strona internetowa firmy Sensable.
• [9] http://www.novint.com/ - strona internetowa firmy Novint.
• [10] http://www.artificialmuscle.com/technology.php - strona internetowa firmy Artificial Muscle.
• [11] Straub M., A. Riener, A. Ferscha: Distance encoding in vibro-tactile guidance cues. Conference on Mobile nad ubiquitous System: Networking & Services, MobiQuitous Proceedings, 2009.
• [12] Pradeep V., G. Medioni, J. Weiland: Robot Vision for the Visually Impaired. Computer Vision and Pattern Recognition Workshops (CVPRW) Proceedings, 2010.
• [13] Schloerb D., O. Lahav, J. Desloge, M. Srinivasan: BlindAid: Virtual environment system for self-reliant trip planning and orientation and mobility training. Haptics Symposium Proceedings, 25-26 March 2010.
• [14] Kostopoulos K., K. Moustakas, D. Tzovaras, G. Nikolakis: Haptic Access to Conventional 2D Maps for the Visually Impaired. 3DTV Conference Proceedings, 7-9 May 2007.
• [15] Shimada S., S. Yamamoto, Y. Uchida, M. Shinohara, Y. Shimizu, M. Shimojo: New design for a dynamic tactile graphic system for blind computer users. Proceedings of SICE Conference, 20-22 August 2008.