An overview and review of testing methods for the verification and validation of ADAS, active safety systems, and autonomous driving

• Autorzy: Pietruch Michał , Młyniec Andrzej , Wetula Andrzej

Identyfikatory

DOI

10.7494/miag.2020.1.541.19

Warianty tytułu

PL

Przegląd i perspektywa metod testowania wykorzystywanych do weryfikacji i walidacji ADAS, systemów aktywnego bezpieczeństwa oraz jazdy autonomicznej

• Języki publikacji: EN

Abstrakty

EN

The number of advanced driver assistance systems has increased dramatically in recent years. This led to a need for the development of testing methods to prove the quality and reliability of such systems. This publication presents an overview of the testing methods used in the automotive industry for the verification and validation of advanced driver assistance systems (ADAS), active safety, and autonomous driving systems. The first part presents the approach to X-in-the-loop testing such as model, software, hardware, etc., presenting the most interesting implementations. Then it discusses testing in proven areas like road traffic, artificial cities, and test tracks. The last part presents validation in the laboratory using both invasive and non-invasive methods based on virtual test drives, sensor stimulators and chassis dynamometers. Moreover, we identified the most promising approaches for the efficient verification and validation of ADAS, active safety and autonomous driving systems. Finally, we address some gaps in the research which require further investigation.

PL

W ostatnich latach znacznie wzrosła liczba zaawansowanych systemów wspomagających kierowcę. Spowodowało to potrzebę opracowania metod testowania ich jakości i niezawodności. Artykuł przedstawia przegląd metod badawczych stosowanych w przemyśle motoryzacyjnym wykorzystywanych w weryfikacji i walidacji zaawansowanych systemów wspomagania kierowcy (ADAS), aktywnego bezpieczeństwa i systemów jazdy autonomicznej. W pierwszej części przedstawiono podejście do testów nazywanych testowaniem w pętli, takich jak model w pętli, oprogramowanie w pętli itd., prezentując najciekawsze implementacje. Następnie omówiono testy wykonywane na różnych terenach testowych, które mają udowodnić niezawodność i jakość systemu. Testowymi terenami mogą być tory testowe, sztuczne miasta czy drogi publiczne. W ostatniej części przedstawiono walidację wykonaną w laboratorium z wykorzystaniem metod zarówno inwazyjnych, jak i nieinwazyjnych, opartych na wirtualnych jazdach testowych, stymulatorach czujników i hamowniach podwoziowych. Ponadto zidentyfikowaliśmy najbardziej obiecujące podejścia do skutecznej weryfikacji i walidacji systemów ADAS, aktywnego bezpieczeństwa oraz jazdy autonomicznej. Na koniec wskazujemy potencjalne luki w tym temacie, które wymagają dalszych badań.

Słowa kluczowe

EN

ADAS validation; active safety systems verification; autonomous driving; testing methods in the loop testing

PL

ADAS; weryfikacja systemów aktywnego bezpieczeństwa; jazda autonomiczna; metody testowania; testowanie w pętli

• Wydawca: Wydawnictwa AGH
• Czasopismo: Mining – Informatics, Automation and Electrical Engineering
• Rocznik: 2020
• Tom: R. 58, nr 1
• Strony: 19--27
• Opis fizyczny: Bibliogr. 27 poz., rys., zdj.

Twórcy

autor

Pietruch Michał

• Faculty of Mechanical Engineering and Robotics AGH University of Science and Technology al. A. Mickiewicza 30, 30-059 Kraków, Poland

autor

Młyniec Andrzej

• Faculty of Mechanical Engineering and Robotics AGH University of Science and Technology al. A. Mickiewicza 30, 30-059 Kraków, Poland

autor

Wetula Andrzej

• Faculty of Electrical Engineering, Automatics, Computer Science and Biomedical Engineering AGH University of Science and Technology al. A. Mickiewicza 30, 30-059 Kraków, Poland

Bibliografia

• [1] Systems Engineering: IEEE 1012-2016 – IEEE Standard for System, Software, and Hardware Verification and Validation, https://standards.ieee.org/standard/1012-2016.html [8.07.2021].
• [2] Bücs R.L, Reyes Aristizábal J.S., Leupers R., Ascheid G.: Multi-level vehicle dynamics modeling and export for ADAS prototyping in a 3D driving environment, IEEE 20th International Conference on Intelligent Transportation Systems (ITSC), Yokohama, Japan 2017.
• [3] Xu F., Shen T.: A trafic-in-loop simulation system for validation of emission control strategy in diesel engine, IEEE Industrial Cyber-Physical Systems (ICPS), Sankt Petersburg, Russia 2018.
• [4] Yao S., Zhang J., Hu Z., Wang Y., Zhou X.: Autonomousdriving vehicle test technology based on virtual reality, The 2nd 2018 Asian Conference on Artificial Intelligence Technology, Chongqing, China 2018.
• [5] Von Neumann-Cosel K., Roth E., Lehmann D., Speth J., Knoll A.: Testing of image processing algorithms on synthetic data, 4th International Conference on Software Engineering Advances, Porto, Portugal 2009.
• [6] National Instrument. Volvo Cars Improves Ride Quality Using an Open-HIL Platform and Dynamic Vehicle Simulation, https://www.ni.com/pl-pl/innovations/case-studies/19/volvocars-improves-ride-quality-using-an-open-hil-platform-anddynamic-vehicle-simulation.html [8.07.2021].
• [7] Zofka M.R., Kohlhaas R., Schamm T., Zöllner J.M.: Semivirtual simulations for the evaluation of vision-based ADAS, IEEE Intelligent Vehicles Symposium, Dearborn, Michigan, USA 2014.
• [8] Kammerer C., Schmidt R., Hochmann G.: A Common Testing Platform for Engine and Vehicle Testbeds, ATZ Worldwide 2009.
• [9] Chen C., Xiong R., Shen W.: A Lithium-Ion Battery-in-the--Loop Approach to Test and Validate Multiscale Dual H Infinity Filters for State-of-Charge and Capacity Estimation, IEEE Transactions on Power Electronics 2018.
• [10] Laschinsky Y., Von Neumann-Cosel K., Gonter M., Wegwerth C., Dubitzky R., Knoll A.: Evaluation of an active safety light using virtual test drive within vehicle in the loop, IEEE International Conference on Industrial Technology, Via del Mar, Chile 2010.
• [11] Hartmann M., Viehweger M., Desmet W., Stolz M., Watzenig D.: Pedestrian in the loop: An approach using virtual reality, 26th International Conference on Information, Communication and Automation Technologies, Sarajevo, Bosnia and Herzegovina 2017.
• [12] Zofka M.R., Ulbrich S., Karl D., Fleck T., Kohlhaas R., Rönnau A., Dillmann R., Zöllner M.: Trafic Participants in the Loop: A Mixed Reality-Based Interaction Testbed for the Verification and Validation of Autonomous Vehicles, IEEE Conference on Intelligent Transportation Systems, Maui, HI, USA 2018.
• [13] Frost A.: Autonomous EV completes UK’s longest and most complex self-driving car journey, https://www.traffictechnologytoday.com/news/autonomous-vehicles/autonomous-evcompletes-uks-longest-and-most-complex-self-driving-carjourney.html [8.07.2021].
• [14] Xu S., Peng H., Song Z., Chen K., Tang Y.: Design and Test of Speed Tracking Control for the Self-Driving Lincoln MKZ Platform, IEEE Transactions on Intelligent Vehicles, 2020.
• [15] Huang W.L., Wang K., Lv Y., Zhu F.H.: Autonomous vehicles testing methods review, IEEE Conference on Intelligent Transportation Systems, Rio de Janeiro, Brazil 2016.
• [16] Mcity: Mcity Test Facility, https://mcity.umich.edu/our-work/mcity-test-facility/ [28.05.2020].
• [17] Zofka M.R., Essinger M., Fleck T., Kohlhaas R., Zöllner J.M.: The sleepwalker framework: Verication and validation of autonomous vehicles by mixed reality LiDAR stimulation, IEEE International Conference on Simulation, Modeling, and Programming for Autonomous Robots, Brisbane, QLD, Australia 2018.
• [18] Bokc T., Maurer M., Farber G.: Validation of the Vehicle in the Loop (VIL); A milestone for the simulation of driver assistance systems, IEEE Intelligent Vehicles Symposium, Istanbul, Turkey 2007.
• [19] Sieber M., Berg G., Karl I., Siedersberger K., Siegel A., Färber B.: Validation of driving behavior in the Vehicle in the Loop: Steering responses in critical situations, IEEE Conference on Intelligent Transportation Systems, The Hague, Netherlands 2013.
• [20] Ruger F., Nitsch V., Farber B.: Automatic Evasion Seen from the Opposing Trafic-An Investigation with the Vehicle in the Loop, IEEE Conference on Intelligent Transportation Systems, Gran Canaria, Spain 2015.
• [21] Fayazi A., Vahidi A.: Vehicle-in-the-loop (VIL) verification of a smart city intersection control scheme for autonomous vehicles, 1st Annual IEEE Conference on Control Technology and Applications, Maui, HI, USA 2017.
• [22] Galko C., Rossi R., Savatier X.: Vehicle-hardware-in-the-loop system for ADAS prototyping and validation, International Conference on Embedded Computer Systems: Architectures, Modeling and Simulation, Agios Konstantinos, Greece 2014.
• [23] Gietelink O., Ploeg J., De Schutter B., Verhaegen M.: Development of advanced driver assistance systems with vehicle hardware-in-the-loop simulations, “Vehicle System Dynamics” 2006, 44, 7: 569–590.
• [24] Geneder S., Pfister F., Wilhelm C., Arnold A.: Development of Connected Powertrains at the Power Test Bed, ATZ Worldwide 2016.
• [25] Gadringer M. E., Maier F. M., Schreiber H., Makkapati V. P., Gruber A., Vorderderfler M., Amschl D., Metzner S., Pflügl H., Bösch W., Horn M., Paulweber M.: Radar target stimulation for automotive applications, IET Radar, Sonar & Navigation, 2018.
• [26] Förster M., Hettel R., Schyr C., Pfeffer P. E.: Lateral dynamics on the vehicle test bed – a steering force module as a validation tool for autonomous driving functions, 9th International Munich Chassis Symposium, Munich, Germany 2018.
• [27] Gadringer M., Schreiber H., Gruber A., Vorderderfler M., Amschl D., Bösch W., Metzner S., Pflügl H., Paulweber M.: Virtual reality for automotive radars, Elektrotechnik & Informationstechnik 2018.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2021).