Modern UVC stereovision camera’s calibration and disparity maps generation: mathematical basis, algorithms and implementations

• Autorzy: Hachaj Tomasz , Mazurek Patryk

Identyfikatory

DOI

10.15199/48.2020.04.35

Warianty tytułu

PL

Kalibracja i generowanie map rozbieżności w nowoczesnej kamerze stereowizyjnej UVC: podstawy matematyczne, algorytmy i implementacja

• Języki publikacji: EN

Abstrakty

EN

This paper presents a complete and up-to-date introduction to problems of stereo camera calibration with crucial mathematical models, description of calibration procedure and proposition of evaluation of overall calibration quality. This last step is our original contribution to this subject. To practically demonstrate how the calibration procedure works, we have perform calibration of USB / UVC camera module that can be reproduce and nearly directly applied to other hardware of this type. Our visual data and source codes can be downloaded from digital repository. The subject of this article might be especially interesting to employees of research units, students, doctoral students and electrical engineers who want to get familiar with up-to-date stereovision calibration and processing procedures and who want to perform those actions on their own on popular and available hard.

PL

W tym artykule przedstawiono pełne i aktualne wprowadzenie do problematyki kalibracji kamery stereo z uwzględnieniem kluczowych modeli matematycznych, opisu procedury kalibracji i propozycji ogólnej oceny jakości kalibracji. Ostatni krok to nasz oryginalny wkład w ten temat. Aby praktycznie przedstawić proces kalibracji, przeprowadziliśmy kalibrację modelu kamery USB / UVC, który można powielić i niemal bezpośrednio zastosować w sprzęcie podobnego typu. Zarówno dane jak i kody źródłowe które użyliśmy przy tworzeniu niniejszego artykułu dostępne są w repozytorium online. Temat poruszany w artykule może być szczególnie interesujący dla pracowników jednostek badawczych, studentów, doktorantów i inżynierów, którzy chcą zapoznać się z aktualnymi procedurami kalibracji i przetwarzania stereowizji oraz którzy chcieliby wykorzystać te mechanizmy na popularnym i dostępnym sprzęcie.

Słowa kluczowe

EN

stereovision; UVC camera; speckle filter; disparity map

PL

stereowizja; kamera UVC; filtr speckle; mapa rozbieżności

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2020
• Tom: R. 96, nr 4
• Strony: 168--173
• Opis fizyczny: Bibliogr. 26 poz., rys.

Twórcy

autor

Hachaj Tomasz

• Institute of Computer Science, Pedagogical University of Cracow, Podchorazych 2, 30084, Cracow, Poland

autor

Mazurek Patryk

• Institute of Computer Science, Pedagogical University of Cracow, Podchorazych 2, 30084, Cracow, Poland

Bibliografia

• [1]. Z. Zhang. A Flexible “New Technique for Camera Calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
• [2]. S. Dai, Q. Ji A “New Technique for Camera Self-Calibration". Proceedings 2001 ICRA. IEEE International Conference on Robotics and Automation, 09 July 2003
• [3]. H. Hirschmuller “Stereo Processing by Semi-Global Matching and Mutual Information", IEEE Transactions on Pattern Analysis and Machine Intelligence, 328 - 341, 18 December 2007
• [4]. Junhee Park, Seong-Chan Byun, Byung-Uk Lee, “Lens Distortion Correction Using Ideal Image Coordinates", IEEE Transactions on Consumer Electronics, 2009
• [5]. R. Tsai, A versatile “Camera calibration technique for highaccuracy 3D machine vision metrologyusing off-the-shelf TV PRZEGLĄD ELEKTROTECHNICZNY, ISSN 0033-2097, R. 96 NR 4/2020 173 cameras and lenses", IEEE Journal on Robotics and Automation, vol. 3, no. 4, pp. 323-344, Aug. 1987
• [6]. F. Devernay, O. Faugeras. “Straight lines have to be straight". Machine Vision and Applications, 13:14-24, 2001.
• [7]. A. W. Fitzgibbon. “Simultaneous linear estimation of multiple view geometry and lens distortion". In Proc. CVPR, 2001.
• [8]. D. Claus , A.W. Fitzgibbon, rational function lens distortion model for general cameras", 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005
• [9]. C. Harris, M. Stephens, “A combined corner and edge detector", In Alvey Vision Conference, pages 147- 152, 1988.
• [10]. Masanori Hariyama, Michitaka Kameyama. “Design of a Trinocular-Stereo-Vision VLSI Processor Based on Optimal Scheduling", IEICE Transactions on Electronics · April 2008
• [11]. Raad H. Thaher, Zaid K. Hussein, “Stereo Vision Distance Estimation Employing SAD with Canny Edge Detector", International Journal of Computer Applications, Volume 107 - No. 3, December 2014
• [12]. Seung-min Choi, Jae-chan Jeong, Dae Hwan Hwang, “Post-Processing Algorithms for Real-time Active Stereo Vision", The 18th IEEE International Symposium on Consumer Electronics, 2014
• [13]. Jim Hefferon, "Linear Algebra", Orthogonal Publishing L3C, January 1, 2017
• [14]. Wilhelm Burger, Mark James Burge, "Digital Image Processing", Springer, e-ISBN 978-1-84628-968-2, 2008
• [15]. Xiangjian He, Huaifeng Zhang, Namho Hur, Jinwoong Kim, Qiang Wu, Taeone Kim, "Estimation of Internal and External Parameters for Camera Calibration Using 1D Pattern", 2006 IEEE International Conference on Video and Signal Based Surveillance, 11 December 2006
• [16]. Richard Hartley, Andrew Zisserman, "Multiple View Geometry in Computer Vision", Cambridge University Press, isbn 0-511-18618-5
• [17]. Bo Zhou, Meng Li, Kun Qian, Xianzhong Dai, Fang Fang, “Long-range outdoor localization of a mobile robot using a binocular camera", IECON 2015 - 41st Annual Conference of the IEEE Industrial Electronics Society, 28 January 2016
• [18]. Wei Bao, Chongwei Zhang, Benxian Xiao, Rongbao Chen, “Self-localization of Mobile Robot Based on Binocular Camera and Unscented Kalman Filter", 2007 IEEE International Conference on Automation and Logistics, 08 October 2007
• [19]. Kunio TakayaKunio Takaya, "Dense stereo disparity map for video by sub-pixel dynamic time warp algorithm". CCECE 2010, 16 September 2010
• [20]. Naigong Yu, Chunyan Ma, "Mobile Robot Map Building Based on Cellular Automata", 2011 Third Pacific-Asia Conference on Circuits, Communications and System (PACCS), 18 August 2011
• [21]. Diana Araque, Ricardo Díaz, Byron Pérez-Gutiérrez, Alvaro Joffre Uribe, "Augmented reality motion-based robotics off-line programming", 2011 IEEE Virtual Reality Conference, 29 April 2011
• [22]. GitHub repository: https://github.com/PatrykMazurek/stereovision_camera_calibrat ion
• [23]. Hartley, R.I., Theory and Practice of Projective Rectification. IJCV 35 2, pp 115-127 (1999)
• [24]. Zhang, Z. “A Flexible New Technique for Camera Calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence.Vol. 22, No. 11, 2000, pp. 1330-1334.
• [25]. Heikkila, J, and O. Silven. “A Four-step Camera Calibration Procedure with Implicit Image Correction." IEEE International Conference on Computer Vision and Pattern Recognition. 1997.
• [26]. Zhengyou Zhang, "Flexible Camera Calibration By Viewing a Plane From Unknown Orientations", Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2020).