A stereo vision system on Jetson device using deep learning

• Autorzy: Maciura, Łukasz , Wójcik, Dariusz , Maj, Michał , Majerek, Dariusz , Kiczek, Bartłomiej

Warianty tytułu

PL

System widzenia stereo na urządzeniu Jetson wykorzystujący głębokie uczenie

• Języki publikacji: EN

Abstrakty

EN

This paper presents a stereo vision system created on a Jetson device with a GPU. Two cameras attached to the cover are connected to the device. Before using the system, the calibration procedure should be done. The stereo vision system uses two deep learning algorithms (one for disparity map extraction and the second for panoptic segmentation) with custom preprocessing and postprocessing stages. Results from both algorithms were used to calculate point clouds for every registered object.

EN

W artykule przedstawiono system stereowizyjny stworzony na urządzeniu Jetson z GPU. Do urządzenia podłączone są dwie kamery przymocowane do obudowy. Przed użyciem systemu należy przeprowadzić procedurę kalibracji. System stereowizyjny wykorzystuje dwa algorytmy głębokiego uczenia (jeden do ekstrakcji mapy rozbieżności, a drugi do segmentacji panoptycznej) z niestandardowymi etapami wstępnego i końcowego przetwarzania. Wyniki z obu algorytmów posłużyły do obliczenia chmur punktów dla każdego zarejestrowanego obiektu.

Słowa kluczowe

PL

stereowizja; Jetson; głębokie uczenie

EN

stereo vision; Jetson; deep learning

• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2023
• Tom: R. 99, nr 2
• Strony: 178--181
• Opis fizyczny: Bibliogr. 21 poz., rys.

Twórcy

autor

Maciura, Łukasz

• Netrix S.A, R&R Centre, Lublin, Poland,

autor

Wójcik, Dariusz

• Netrix S.A., University of Economics and Innovation, Netrix S.A., R&D Centre, Lublin, Poland,

autor

Maj, Michał

• University of Economics and Innovation, Netrix S.A., R&D Centre, Lublin, Poland,

autor

Majerek, Dariusz

• Netrix S.A., R&D Centre, Lublin, Poland,

autor

Kiczek, Bartłomiej

• Netrix S.A., R&D Centre, Lublin, Poland,

Bibliografia

• [1] Hartley R., Zisserman A., Multiple View Geometry in computer vision, Cambridge University Press, 2003
• [2] Cyganek B. Siebert J., An Introduction to 3D Computer Vision Techniques and Algorithms, John Wiley and Sons, 2009
• [3] Zhang M., Experimental Implementation of Stereo Matching Algorithms in Halide, MIT, 2016
• [4] H. Hirchmuller, Stereo Processing by Semiglobal Matching and Mutual Information, IEEE Trans. Pattern Analysis and Machine Intelligence, 2008
• [5] Chang, J. Ren and Chen, Y. Sheng, „Pyramid Stereo Matching Network”, Procedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018
• [6] Rymarczyk T., Kłosowski G., Hoła A., Sikora J., TchórzewskiP., Skowron Ł., Optimising the Use of Machine Learning Algorithms in Electrical Tomography of Building Walls: Pixel Oriented Ensemble Approach, Measurement, 188 (2022), 110581.
• [7] Koulountzios P., Rymarczyk T., Soleimani M., Ultrasonic Time-of-Flight Computed Tomography for Investigation of Batch Crystallisation Processes, Sensors, 21 (2021), No. 2, 639.
• [8] Kłosowski G., Rymarczyk T., Niderla K., Rzemieniak M., Dmowski A., Maj M., Comparison of Machine Learning Methods for Image Reconstruction Using the LSTM Classifier in Industrial Electrical Tomography, Energies 2021, 14 (2021), No. 21, 7269.
• [9] Rymarczyk T., Król K. Kozłowski E., Wołowiec T., Cholewa Wiktor M., Bednarczuk P., Application of Electrical Tomography Imaging Using Machine Learning Methods for the Monitoring of Flood Embankments Leaks, Energies, 14 (2021), No. 23, 8081.
• [10] Majerek D., Rymarczyk T., Wójcik D., Kozłowski E., Rzemieniak M., Gudowski J., Gauda K., Machine Learning and Deterministic Approach to the Reflective Ultrasound Tomography, Energies, 14 (2021), No. 22, 7549.
• [11] Kłosowski G., Rymarczyk T., Kania K., Świć A., Cieplak T.,Maintenance of industrial reactors supported by deep learning driven ultrasound tomography, Eksploatacja i Niezawodnosc – Maintenance and Reliability; 22 (2020), No 1, 138–147.
• [12] Gnaś, D., Adamkiewicz, P., Indoor localization system using UWB, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No. 1, 15-19.
• [13] Styła, M., Adamkiewicz, P., Optimisation of commercial building management processes using user behaviour analysis systems supported by computational intelligence and RTI, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No 1, 28-35.
• [14] Korzeniewska, E., Krawczyk, A., Mróz, J., Wyszyńska, E., Zawiślak, R., Applications of smart textiles in post-stroke rehabilitation, Sensors (Switzerland), 20 (2020), No. 8, 2370.
• [15] Sekulska-Nalewajko, J., Gocławski, J., Korzeniewska, E., Amethod for the assessment of textile pilling tendency using optical coherence tomography, Sensors (Switzerland), 20 (2020), No. 13, 1–19, 3687.
• [16] Hu Y., Zhen W., Scherer S., Deep – Learning Assisted High – Resolution Binocular Stereo Depth Reconstruction, presented at the 2020 IEEE International Conference on Robotics and Automation (ICRA), 2019.
• [17] Kirillov A., Girshick R., He K., Dollar P., Panoptic Feature Pyramid Networks, arXiv.org > cs > arXiv:1901.02446v2, 2019
• [18] Y. Wu, et al., Detectron2, https://github.com/facebookresearch/detectron2, 2019
• [19] Yu Liu, Shuping Liu, Yang Cao, Zengfu Wang, „A practical algorithm for automatic chessboard corner detection”, ICIP 2014
• [20] The OpenCV Reference Manual, http://opencv.org
• [21] He K., Gkioxari G., Dollr P., Girshick R., Mask R-CNN arXiv:1703.06870

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).

Identyfikatory

DOI

10.15199/48.2023.02.32