Perception technology for conversion of off-road vehicles for the purposes of unmanned missions

• Autorzy: Nowakowski Marek

Identyfikatory

DOI

10.24136/tren.2023.014

Warianty tytułu

PL

Technologia percepcji umożliwiająca konwersję pojazdów terenowych na potrzeby misji bezzałogowych

• Języki publikacji: EN

Abstrakty

EN

Autonomous ground vehicles (AGV) have great potential for a wide range of applications, both in the civilian and military fields. Nowadays there is an interest in converting existing off-road vehicles into remotely controlled platforms with autonomous mode due to several benefits, including reducing the risk to human life, increasing efficiency and accuracy, and allowing the vehicles to operate in hazardous zones. Environmental perception technology plays a critical role in enabling the safe and effective operation during unmanned missions. This technology involves sensors, cameras, and other devices to gather information about the environment and provide the unmanned ground platform (UGV) with a perception of its surroundings. In recent years, there has been significant progress in the development of environmental perception systems, including the use of advanced sensors, machine learning algorithms, and other innovations have become a focus of research and development for many countries. This paper describes a combination of commercially available vision sensors, laser scanners and navigation modules for comprehensive understanding of operational environment, orientation, objects recognition during autonomous mode. Typical methods for vision and lidar-based obstacle detection and object classification for unmanned vehicles are described. The aim of the work was to examine in real environment the performance of a perception system that was configured using a daylight-thermal observation and stereo cameras, lidar sensor, GNSS module, radio links along with computing units. This system was evaluated in terms of performance of different sensors considering implementation for all terrain vehicle as subsystem for unmanned mode.

PL

Pojazdy (AGV) mają ogromny potencjał pod kątem szerokiego spektrum zastosowań, zarówno na rynku cywilnym, jak i wojskowym. Konwersja pojazdów terenowych w zdalnie sterowane platformy z trybem autonomicznym wzbudza duże zainteresowanie ze względu na szereg korzyści takich jak: zmniejszenie zagrożenia życia ludzkiego, zwiększenie wydajności i dokładności oraz umożliwienie poruszania się pojazdów w strefach niebezpiecznych. Systemy analizy otoczenia odgrywa kluczową rolę pod kątem bezpiecznego i efektywnej realizacji misji bezzałogowych. Układy percepcji obejmują: czujniki, kamery i inne urządzenia umożliwiające pozyskanie informacji o otoczeniu i dostarczenie danych o środowisku operacyjnym bezzałogowej platformie naziemnej (UGV). W ostatnich latach obserwuje się znaczny postęp technologiczny w dziedzinie systemów percepcji otoczenia, a w szczególności zaawansowanych czujników, algorytmów uczenia maszynowego i innych innowacyjnych rozwiązań, które stały się przedmiotem badań i rozwoju wielu krajów. W artykule opisano wykorzystanie dostępnych na rynku czujników wizyjnych, skanerów laserowych i modułów nawigacyjnych w celu pełnego zobrazowania środowiska operacyjnego, lokalizacji oraz rozpoznawania obiektów w trybie autonomicznego przejazdu. Opisano typowe metody wykrywania przeszkód i klasyfikacji obiektów na podstawie systemów wizyjnych oraz skanerów laserowych instalowanych w pojazdach bezzałogowych. Celem pracy było zbadanie, w warunkach rzeczywistych, działania systemu percepcyjnego skonfigurowanego z wykorzystaniem kamery termowizyjnej i stereoskopowej, lidaru, modułu GNSS, modułów radiowych wraz z jednostkami obliczeniowymi. System ten został zweryfikowany pod kątem użyteczności informacji pozyskiwanych z poszczególnych typów sensorów na potrzebny realizacji trybu bezzałogowego przez pojazdy terenowe.

Słowa kluczowe

EN

lidar; navigation; unmanned vehicles; perception system; obstacle detection

PL

detekcja przeszkód; lidar nawigacja; pojazdy bezzałogowe; systemy percepcji

• Wydawca: Uniwersytet Technologiczno-Humanistyczny im. Kazimierza Pułaskiego w Radomiu
• Czasopismo: Journal of civil engineering and transport
• Rocznik: 2023
• Tom: Vol. 5, No. 4
• Strony: 15--27
• Opis fizyczny: Bibliogr. 26 poz., rys., tab., wykr.

Twórcy

autor

Nowakowski Marek

• Military Institute of Armoured and Automotive Technology, Okuniewska 1, 05-070 Sulejowek, Poland

• https://orcid.org/0000-0003-3864-076X

Bibliografia

• [1] Nahavandi S., et al. (2022) Autonomous Convoying: A Survey on Current Research and Development, IEEE Access, 10, 13663-13683. https://doi.org/10.1109/ACCESS.2022.3147251.
• [2] Ahmadi K.D., Rashidi A.J., Moghri A.M. (2022) Design and simulation of autonomous military vehicle control system based on machine vision and ensemble movement approach. J Supercomput, 78. https://doi.org/10.1007/s11227-022-04565-6.
• [3] Jie Chen, Jian Sun, Gang Wang (2022) From Unmanned Systems to Autonomous Intelligent Systems, Engineering, 12, 16-19, ISSN 2095-8099. https://doi.org/10.1016/j.eng.2021.10.007.
• [4] Prochowski L., Szwajkowski P., Ziubiński M. (2022) Research Scenarios of Autonomous Vehicles, the Sensors and Measurement Systems Used in Experiments. Sensors, 22, 6586. https://doi.org/10.3390/s22176586.
• [5] Li Hulin, et al. (2022) Slim-neck by GSConv: A better design paradigm of detector architectures for autonomous vehicles. Preprint. https://doi.org/10.48550/arXiv.2206.02424.
• [6] Sedwin T.C., et al. (2022) Conversion of a Quad Bike to an Autonomous Vehicle and Performance Assessment, SAE Technical Paper 2022-28-0590. https://doi.org/10.4271/2022-28-0590.
• [7] Yacoub M., Asfoor M. (2018) Conversion of an All-Terrain Vehicle into a six-channel wire remote controlled UGV, Proceedings of the 18th International Conference on Applied Mechanics and Mechanical Engineering, 1-13. https://doi.org/10.21608/amme.2018.34721.
• [8] H. -r. Hu, L. -l. Fang, C. -h. Yang and Y. Zhang, (2020) Research on Development and Countermeasures of Army Ground Unmanned Combat System, 5th International Conference on Information Science, Computer Technology and Transportation (ISCTT), Shenyang, China, 654-657. https://doi.org/10.1109/ISCTT51595.2020.00125.
• [9] Michalski K., Nowakowski M. (2020) The use of unmanned vehicles for military logistic purposes, Economics and Organization of Logistics 5(4), 43-57. https://doi.org/10.22630/EiOL.2020.5.4.28.
• [10] Wu, H., Li, W., He, Z., Zhou, Y. (2020) The Design of Military Multifunctional Ground Unmanned Platform. In: Duan, B., Umeda, K., Hwang, W. (eds) Proceedings of the Seventh Asia International Symposium on Mechatronics. Lecture Notes in Electrical Engineering, 588. Springer, Singapore. https://doi.org/10.1007/978-981-32-9437-0_53.
• [11] Zhang J., Yue X., Zhang H., Xiao T. (2022) Optimal Unmanned Ground Vehicle - Unmanned Aerial Vehicle Formation-Maintenance Control for Air-Ground Cooperation. Applied Sciences. 12(7), 3598. https://doi.org/10.3390/app12073598.
• [12] Pendleton S.D., et al. (2017) Perception, Planning, Control, and Coordination for Autonomous Vehicles. Machines, 5(1), 6. https://doi.org/10.3390/machines5010006.
• [13] Islam F., Nabi M.M., Ball J.E. (2022) Off-Road Detection Analysis for Autonomous Ground Vehicles: A Review. Sensors 22, 8463. https://doi.org/10.3390/s22218463.
• [14] Kim I.-S., et al. (2023) Vision-Based Activity Classification of Excavators by Bidirectional LSTM. Applied Sciences. 13(1). https://doi.org/10.3390/app13010272.
• [15] Qin J., et al. (2023) Lidar-Based 3D Obstacle Detection Using Focal Voxel R-CNN for Farmland Environment. Agronomy 13(3), 650. https://doi.org/10.3390/agronomy13030650.
• [16] Andersson C. A. (2022) The unmanned ground vehicles to be used in future military operations. Tiede Ja Ase, 2021(79). Noudettu osoitteesta. https://journal.fi/ta/article/view/113769.
• [17] https://www.armyrecognition.com/mspo_2014_official_show_daily_news_coverage_report/polish_company_szczesniak_unveils_its_new_lst_light_off-road_vehicle_at_mspo_2014_0109142.html
• [18] Hu, J.-W., et al. (2020) A survey on multi-sensor fusion based obstacle detection for intelligent ground vehicles in off-road environments. Frontiers of Information Technology & Electronic Engineering, 21, 675–692. https://doi.org/10.1631/FITEE.1900518.
• [19] Kocic J., Jovičić N., Drndarevic V. (2018) Sensors and sensor fusion in autonomous vehicles. 26th Telecommunications Forum (TELFOR), Belgrade, Serbia, 20-21 November 2018, 420–425. https://doi.org/10.1109/TELFOR.2018.8612054.
• [20] https://www.stereolabs.com/zed-2/ (access date: 10/03/2023).
• [21] https://www.etronika.pl/products/cameras/ktd-60/ (access date: 10/03/2023).
• [22] https://ouster.com/products/scanning-lidar/os0 -sensor/ (access date: 10/03/2023).
• [23] Sivaraman S., Trivedi M.M. (2013) Looking at Vehicles on the Road: A Survey of Vision-Based Vehicle Detection, Tracking, and Behavior Analysis. IEEE Transactions on Intelligent Transportation Systems, 14(4), 1773-1795. https://doi.org/10.1109/TITS.2013.2266661.
• [24] Alaba S., Gurbuz A., Ball J.A. (2022) Comprehensive Survey of Deep Learning Multisensor Fusion-based 3D Object Detection for Autonomous Driving: Methods, Challenges, Open Issues, and Future Directions. TechRxiv. Preprint. https://doi.org/10.36227/techrxiv.20443107.v2.
• [25] Munir A.F., et al. (2018) Object Modeling from 3D Point Cloud Data for Self-Driving Vehicles. 2018 IEEE Intelligent Vehicles Symposium (IV), Changshu, China, 409-414. https://doi.org/10.1109/IVS.2018.8500500.
• [26] Garcia F., Martin D., Escalera A.d.l., Armingol, J.M. (2017) Sensor Fusion Methodology for Vehicle Detection. IEEE Intelligent Transportation Systems Magazine, 9(1), 123-133. https://doi.org/10.1109/MITS.2016.2620398.