Human centric approach to inhomogeneous geospatial data fusion and actualization

• Autorzy: Żarnowski A. , Levin E. , Skubiev S.

Warianty tytułu

PL

Symbioza mózgu człowieka z komputerem przy sprawdzaniu aktualności heterogenicznych danych geoprzestrzennych

• Języki publikacji: EN

Abstrakty

EN

This paper describes a research which attempts to combine the advantages of human analysts and computer automated processing for efficient human-computer symbiosis in geospatial data fusion. Specifically, the experiments performed were related to the analysis of the potential use of inhomogeneous (composed of different sources) stereo pairs for mapping dataset actualization. Inhomogeneous stereo pairs were combined with images of the map to be updated along with actual aerial images of the same territory. The anaglyphic product obtained after image processing of such stereo pairs was demonstrated to human analysts (subjects) and stereo perception of such stereo pairs was achieved. The most interesting finding of this experiment is the fact that some objects existing only on the aerial photo appeared in the inhomogeneous stereo pairs as 3D. This effect is caused by phenomena within the human eye-brain system known as human stereopsis, which is widely deployed in photogrammetry. For the quantitative measurements of the effect obtained an eye-tracking system was deployed. Analysis of human eye-movements (driven by conscious and subconscious brain processes), while perceiving an inhomogeneous stereo dataset, provides a unique opportunity for the human computer symbiosed geospatial systems. There are two potential outcomes of such approach: a) interpretative – analysts’ gaze-fixation zones can help to localize the areas where mapping dataset should be updated b) quantitative processing of eye fixations geometry during stereo model perception allows to transform the virtual 3D model to a geometrical one based on binocular summation measurements deploying eye-tracking.

PL

W artykule opisano badania, które mają na celu zintegrowanie możliwości ludzkiego umysłu oraz automatyzowanych procesów opracowania dużych zbiorów danych na komputerze do projektowania skutecznego systemu symbiozy człowieka z komputerem przy opracowaniu danych geoprzestrzennych. Eksperymenty w szczególności były związane z analizą możliwości wykorzystywania heterogenicznych (uzyskanych z różnych źródeł) stereogramów dla aktualizacji map i baz danych SIP. Heterogeniczne stereogramy stworzono z mapy rastrowej i aktualnych obrazów cyfrowych. Anaglif uzyskuje się po standardowemu opracowaniu obrazów i wykorzystuje się do stereoskopowego oglądania terenu (model 3D). Najbardziej interesującym fenomenem tego eksperymentu jest fakt, że niektóre obiekty, zarejestrowane tylko na aktualnym obrazie cyfrowym, pojawiły się na heterogenicznych stereogramach w postaci 3D. Ten efekt leży w granicach wzrokowo-mózgowego systemu, znanego jako widzenie stereoskopowe, który szeroko wykorzystuje się w fotogrametrii. Dla oceny parametrów uzyskanego stereomodelu wykorzystano eye-tracking system. Analiza ruchów ludzkiego oka, którymi rządzą świadome oraz podświadome procesy mózgowe, w procesie obserwacji obiektów na heterogenicznym stereogramie – jest źródłem unikalnej informacji dla systemów analizowania danych geoprzestrzennych, zbudowanych na symbiozie ludzkiego umysłu z komputerem.

Słowa kluczowe

EN

computer; actualization; geospatial data; digital image; 3D model; human eye-movements; stero measurements

PL

komputer; aktualizacja; dane geoprzestrzenne; obraz cyfrowy; model stereoskopowy; oko ludzkie

• Wydawca: Zarząd Główny Stowarzyszenia Geodetów Polskich
• Czasopismo: Archiwum Fotogrametrii, Kartografii i Teledetekcji
• Rocznik: 2010
• Tom: Vol. 21
• Strony: 523--533
• Opis fizyczny: Bibliogr. 23 poz.

Twórcy

autor

Żarnowski A.

• Katedra Fotogrametrii i Teledetekcji, Uniwersytet Warmińsko-Mazurski w Olsztynie

autor

Levin E.

• Katedra Geodezji Inżynieryjnej, Michigański Uniwersytet Techniczny w Houghtonie

autor

Skubiev S.

• Moskiewski Państwowy Uniwersytet Planowania Przestrzennego

Bibliografia

• 1.(Abidi and Gonzales, 1993) M.A. Abidi and R.C. Gonzales, Eds., Data Fusion in Robotics and Machine Intelligence, Academic Press, Boston, 1993.
• 2.(Chau et al., 1992) Chen-Chau Chu and J.K. Aggarwal, Image Interpretation Using Multiple Sensing Modalities, IEEE Trans. on Pattern Analysis and Machine Intelligence, August 1992, Vol. 14, No. 8, 840–847.
• 3.(Delanoy, 1991) Richard Delanoy, Jacques Verly, and Dan Dudgeon, Pixel-Level Fusion Using “Interest” Images, Proc. 4th National Sensor Symp., August 1991, Vol. I, 29.
• 4.(Duchowski 2003) Duchowski, A. T. (2003). Eye tracking methodology: Theory and practice. New York: Springer.
• 5.(Gonzales et al., 1994) Victor M. Gonzales and Paul K. Williams, Summary of Progress in FLIR/LADAR Fusion for Target Identification at Rockwell, Proc. Image Understanding Workshop, ARPA, November 1994, Vol. I, 495–499.
• 6.(Gupta 2003) Gupta, Ravi P, Remote Sensing Geology, 2nd ed., Springer 2003
• 7.(Hamilton & Kipp 1993) M.K. Hamilton and T.A. Kipp, ARTM: Model-Based Mutisensor Fusion, Proc. Joint NATO AC/243 Symp. on Multisensors and Sensor Data Fusion, November 1993.
• 8.(Harris 1988) Harris C., Stephens, M. “A combined corner and edge detector” in Alvey Vision Conf., 1988, pp. 147–151.
• 9.(Just & Carpenter, 1976) Just, M. A. & Carpenter, P. A. (1976). Eye fixations and cognitive processes. Cognitive Psychology, 8, 441–480.
• 10.(Levin et al., 2008a) E Levin, W. Helton, R. Liimakka., G Gienko, EYE MOVEMENT ANALYSIS IN VISUAL INSPECTION OF GEOSPATIAL DATA, Proc. of ASPRS Annual. Conference, Portland, OR, 2008.
• 11.(E. Levin et al., 2008b) E. Levin, G. Gienko, A Sergeev, “HUMAN CENTRIC APPROACH FOR GEOSPATIAL DATA FUSION IN HOMELAND DEFENCE AND SECURITY APPLICATION
• 12.SCENARIOUS”, 2008 SPIE Defense and Security Symposium, Orlando FL, March 2008.
• 13.(Liu Tyler, & Schor 1992) Liu, L., Tyler, C. W. & Schor, C. M. 1992 Failure of rivalry at low contrast: evidence of a suprathreshold binocular summation process. Vision Res. 32, 1471–1479.
• 14.(NGA) Global Geospace Information and Services (GGIS) available at: www.earth-info. nga.mil/gns/html/namefiles.htm
• 15.(Nikolov et al., 2003) Nikolov, S. G., Gilchrist, I. D., and Bull, D. R., Gaze-contingent multi-modality displays of multi-layered geographical maps, pp. 325–332. In Proceedings of the Fifth International Conference on Numerical Methods and Applications (NM&A02), Symposium on Numerical Methods for Sensor Data Processing, Borovetz, Bulgaria. LNCS 2542, Springer, Berlin, 2003.
• 16.(Qian 1997) Ning, Qian. Binocular disparity and the perception of depth. Neuron, 18, 359–368. (Petrovic & Cootes, 2007) Vladimir Petrovic and Tim Cootes, “Objectively adaptive image fusion”, Information Fusion Volume 8, Issue 2, April 2007, pp. 168–17.
• 17.(Piella 2003) G. Piella, “A general framework for multiresolution image fusion: from pixels to regions”, Information Fusion,vol. 4, 2003, pp. 259–280.
• 18.(Roy et al., 2008) D. P. Roy, J. Ju, P. Lewis, C. Schaaf, F. Gao, M. Hansen, and E. Lindquist, “Multi-temporal MODIS–Landsat data fusion for relative radiometric normalization, gap filling, and prediction of Landsat data,” Remote Sens. Environ., vol. 112, no. 6, pp. 3112–3130, Jun. 2008.
• 19.(Silk et al., 1991) James D. Silk, Jeffrey Nicholl, David Sparrow, Modeling the Performance of Fused Sensor ATRs, Proc. 4th Nat’l. Sensor Symp., August 1991, Vol. I, 323–335.
• 20.(Singh et al., 2006) R. Singh, M. Vatsa, and A. Noore, Intelligent biometric information fusion using support vector machine, Soft Computing in Image Processing: Recent Advances by Springer edited by M. Nachtegael, D. Van der Weken, E. E. Kerre, and W. Philips, Chapter 12, 2006, 327–350.
• 21.(SimWright) StereoGIS product description available at: http://www.simwright.com/stereogis.htm
• 22.(SM) Seeing Machines, faceLAB; http://www.seeingmachines.com
• 23.(USGS Antarctica) Terrain view available at: http://terraweb.wr.usgs.gov/kids/Antarctica/nuvu/