Analysis on the dynamic deformations of the images from digital film sequences

• Autorzy: Markowski T.

Identyfikatory

DOI

10.1515/geocart-2015-0005

Warianty tytułu

PL

Badania zniekształceń dynamicznych obrazów pochodzących z cyfrowych sekwencji filmowych

• Języki publikacji: EN

Abstrakty

EN

Image sequences, in particular digital video sequences, are characterised by the features which result in their high potential as measurement data. However, as early as at the stage of visual assessment of digital film images, originating, in particular, from amateur cameras, occurrence of some deformations may be observed, which may highly influence the results of measurements performed using these images; such deformations differ from deformations occurred in the case of static photographic images. It results both, by the method of image recording, using an electronic shutter and interlaced or progressive scanning, as well as the method of file recording and compression. It is worth to notice the systematic nature of such deformations, which highly depend on mutual motions of a camera and recorded objects. The objective of presented research works was to develop the mathematical description of image deformations, as a function of motion parameters. This would allow for adaptation of the camera calibration process to the demands of sequential imaging, as well as for modification of algorithms of measurements using self-calibration, and, as a result, minimisation of deformations. Another objective was to analyse the influence of deformations, typical for digital film images, on the results of measurements performed using these images, by means of series of experiments, which were based on multiple calibration of static and a moving camera, also with the use of a spatial test field. The first part was made by developing formulas based on some geometric relations, using some simplifications. On the stage of experimental research a certain degree of compatibility of experimental results and theoretical assumptions were confirmed.

PL

Zobrazowania sekwencyjne, a w szczególności sekwencje filmowe, posiadają cechy, dzięki którym mogą mieć duży potencjał pomiarowy. Należą do nich między innymi systematyka i stosunkowo duża częstotliwość obrazowania, skutkujące dużą liczbą obserwacji oraz podobieństwem sąsiednich obrazów (co ma znaczenie przy automatyzacji pomiarów), a ponadto zmniejszony wkład pracy operatora kamery, możliwość pozyskiwania i przetwarzania w czasie rzeczywistym oraz ogromna i nadal zwiększająca się dostępność zobrazowań. Jednak już na etapie oceny wzrokowej cyfrowych zobrazowań filmowych, zwłaszcza pochodzących z kamer określanych powszechnie jako amatorskie, zauważyć można występowanie pewnych zniekształceń, które mogą mieć znaczący wpływ na wyniki pomiarów. Jest to spowodowane zarówno sposobem rejestracji, z wykorzystaniem migawki elektronicznej i przeplotowego lub progresywnego skanowania, jak i metodami zapisu i kompresji plików. Warto zauważyć, iż są to w dużym stopniu deformacje systematyczne, uzależnione od wzajemnego ruchu kamery i badanego obiektu. Celem opisanych w artykule badań była próba opisu, typowych dla cyfrowych zobrazowań filmowych, zniekształceń dynamicznych, w funkcji parametrów ruchu kamery względem obiektu, jak również próba zbadania rozkładu deformacji poprzez wykonane w odpowiedni sposób wielokrotne kalibracje kamery, w celu porównania otrzymanych wartości z rozważaniami teoretycznymi. Pierwsza część została wykonana, poprzez wyprowadzenie w oparciu o relacje geometryczne, wzorów, opisujących deformacje dynamiczne obrazu, w funkcji współrzędnych tłowych, prędkości liniowej lub kątowej, czasu rejestracji pojedynczej linii obrazu oraz odległości obrazowej i odległości kamery od obiektu. Część druga, eksperymentalna, obejmowała z kolei analizy rozkładu zniekształceń dynamicznych dla kilku przykładowych sekwencji, zarejestrowanych w trakcie obrotów kamery wokół poszczególnych osi układu współrzędnych. Analizując wyniki eksperymentów, potwierdzono pewną zgodność występujących rzeczywistych zniekształceń z przewidywaniami, które pojawiły się na etapie rozważań teoretycznych. Niestety nie udało się przeprowadzić konkretnych analiz liczbowych, ponieważ na tym etapie nie opracowano jeszcze metody wyznaczenia czasu rejestracji pojedynczej linii obrazu, co uniemożliwiło oszacowanie wartości teoretycznych deformacji.

Słowa kluczowe

EN

image sequences; digital video camera; internal geometry; non-metric camera; camera calibration

PL

sekwencje obrazów; kamera cyfrowa; kalibracja kamery

• Wydawca: Komitet Geodezji PAN
• Czasopismo: Geodesy and Cartography
• Rocznik: 2015
• Tom: Vol. 64, no. 1
• Strony: 43--64
• Opis fizyczny: Bibliogr. 22 poz., rys., wykr.

Twórcy

autor

Markowski T.

• Warsaw University of Technology, Faculty of Geodesy and Cartography, Department of Photogrammetry Remote Sensing and Spatial Information Systems, Pl. Politechniki 1, 00-661 Warsaw, Poland

Bibliografia

• [1] Domański, M. (2010). Obraz cyfrowy: reprezentacja, kompresja, podstawy przetwarzania: standardy JPEG i MPEG [Digital image: representation, compression, basics of processing: JPEG and MPEG standards]. Warsaw: Wydawnictwa Komunikacji i Łączności.
• [2] Franke, U. and Gehrig, S. (2013). How cars learned to see. Photogrammetric Week.
• [3] Fua, P., Plaenkers, R. and Boulic, R. (2000). Human shape and motion recovery using animation models. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science, vol. XXXIII-B5, 253-268.
• [4] Gandolfi, S., Barbarella, M., Ronci, E. and Burchi, A. (2008). Close range photogrammetry and laser scanning using a Mobile Mapping System for the high detailed survey of a high density urban area. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science. vol. XXXVII-B5, 909-914.
• [5] Hunter, G. (2009). Mobile Mapping – the StreetMapper approach. Photogrammetric Week.
• [6] Kowalczyk, M. (2012). Badanie przemieszczenia obiektu względem kamery na podstawie analizy obrazów sekwencyjnych [Research into the translocation of the object with regard to the camera position on the base of sequential image analysis]. Archives of Photogrammetry, Cartography and Remote Sensing, 24, 165-175.
• [7] Kraus, K., Harley, I. and Kyle, S. (2007). Photogrammetry: Geometry from Images and Laser Scans. 2nd ed. Berlin: Gruyter, Walter de GmbH.
• [8] Kurczyński, Z. (2006). Lotnicze i satelitarne obrazowanie Ziemi [Aerial and satellite Earth imaging]. Warsaw. Oficyna Wydawnicza Politechniki Warszawskiej.
• [9] Linsenbarth, A. (1974). Fotogrametria naziemna i specjalna [Terrestrial and special photogrammetry]. Warsaw: Państwowe Przedsiębiorstwo Wydawnictw Kartograficznych.
• [10] Maas, H., Dietrich, R., Schwalbe, E., Bäßler, M. and Westfeld, P. (2006). Analysis of the motion behaviour of Jakobshavn Isbræ Glacier in Grenland by monocular image sequence analysis. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science, vol.XXXVI, Part 5, 179-183.
• [11] Markowski, T. (2013). Wykorzystanie pakietu PhotoModeler oraz środowiska Matlab, do badania parametrów ruchu obiektów na podstawie obrazów sekwencyjnych [Application of the PhotoModeler software and Matlab environment for analysis of object movement parameters based on image sequences]. Archiwum Fotogrametrii, Kartografii i Teledetekcji. Wydanie specjalne: Monografia „Geodezyjne Technologie Pomiarowe” [Archives of Photogrammetry, Cartography and Remote Sensing. Special issue: Monograph “Measurement Technologies in Surveying”], 85-96.
• [12] Markowski, T. (2012). Badanie parametrów ruchu obiektów na podstawie obrazów sekwencyjnych [The analysis of objects movement parameters based on image sequences]. MSc Thesis, Warsaw University of Technology, Faculty of Geodesy and Cartography, Department of Photogrammetry, Remote Sensing and Spatial Information Systems.
• [13] Markowski, T. (2010). Weryfikacja działania pakietu PhotoModeler dla generowania rzeczywistego modelu przestrzennego (VRM) wybranego obiektu bliskiego zasięgu [Verification of the PhotoModeler software operation for Visually Realistic Model (VRM) of selected close range object generating]. BEng Thesis. Warsaw University of Technology, Faculty of Geodesy and Cartography, Department of Photogrammetry, Remote Sensing and Spatial Information Systems.
• [14] Nasiłowski, D. (2004). Jakościowe aspekty kompresji obrazu i dźwięku: poglądowo o DIVX [Qualitative aspects of video and audio compression: demonstratively about DIVX]. Warsaw: Mikom.
• [15] Oxford Dictionaries. (2014): http://www.oxforddictionaries.com/.
• [16] Pullen, K.A. (2002). Motion capture assisted animation: Texturing and synthesis. PhD dissertation. Stanford University, The Department of Physics.
• [17] Reznicek, J. and Pavelka, K. (2008). New low-cost 3D scanning techniques for cultural heritage documentation. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science, vol. XXXVII-B5, 237-240.
• [18] Santel, F., Linder, W. and Heipke, C. (2004). Stereoscopic 3D-image sequence analysis of sea surface. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science., vol. XXXI-B5, 708-712.
• [19] Sim, D., Park, R., Kim, R., Lee, S. U. and Kim, I. (2002). Integrated Position Estimation Using Aerial Image Sequences. IEEE Transactions on pattern analysis and machine intelligence, vol. 24, No. 1, 1-18.
• [20] Spangenberg, R. and Döring, T. (2006). Evaluation of object tracking in traffic scenes. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science, vol. XXXVI, Part 5, 605-610.
• [21] Trzeciak, K. (2010). Diagnostyka samochodów osobowych [Passenger cars diagnosis]. Warsaw: Wydawnictwa Komunikacji i Łączności.
• [22] Wardzińska, A. (2007). Analiza chodu ludzkiego na podstawie sekwencyjnych obrazów video [Human gait analysis based on sequential video images]. MSc Thesis, Warsaw University of Technology, Faculty of Geodesy and Cartography, Institute of Photogrammety and Catography.