Badanie podatności systemu sterowania robota wykorzystującego głębokie uczenie ze wzmocnieniem

• Autorzy: Giełdowski Daniel , Szynkiewicz Wojciech , Dudek Wojciech

Warianty tytułu

EN

Vulnerability analysis of a robot control system that uses deep reinforcement learning

• Języki publikacji: PL

Abstrakty

PL

Niniejszy artykuł przedstawia opis metody badania podatności systemu sterowania robota wykorzystującego głębokie uczenie ze wzmocnieniem. Przedstawiony jest problem cyberbezpieczeństwa takich systemów. Omówiono oprogramowanie szeroko stosowane w systemach robotów, uwzględniając najpopularniejsze algorytmy uczenia. Przedstawiono podatności takiego systemu, metody ataku na niego oraz proponowane zabezpieczenia. Opisano projekt badania podatności oraz eksperymentalna weryfikacje proponowanych metod zabezpieczeń systemu robota wykorzystującego głębokie uczenie ze wzmocnieniem.

EN

This paper describes a method for testing the vulnerability of a robot control system that employs deep reinforcement learning. The problem of cyber security of such systems is presented. Software commonly used in robot control systems is discussed, considering the most popular deep reinforcement learning algorithms. Vulnerabilities of such a system, methods of attacking it and proposed security measures are presented. The design of vulnerability analysis and experimental verification of proposed security methods for a robot control system based on DRL is described.

Słowa kluczowe

PL

algorytmy sterowania; sterowanie robotem; głębokie uczenie

EN

control algorithms; robot control; deep learning

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2022
• Tom: z. 197, t. 1
• Strony: 105--114
• Opis fizyczny: Bibliogr. 25 poz., rys.

Twórcy

autor

Giełdowski Daniel

• Politechnika Warszawska, Wydział Elektroniki i Technik Informacyjnych, Instytut Automatyki i Informatyki Stosowanej

autor

Szynkiewicz Wojciech

• Politechnika Warszawska, Wydział Elektroniki i Technik Informacyjnych, Instytut Automatyki i Informatyki Stosowanej

autor

Dudek Wojciech

• Politechnika Warszawska, Wydział Elektroniki i Technik Informacyjnych, Instytut Automatyki i Informatyki Stosowanej

Bibliografia

• [1] V. Behzadan, W. Hsu. Rl-based method for benchmarking the adversarial resilience and robustness of deep reinforcement learning policies. In: International Conference on Computer Safety, Reliability, and Security. Proceedings. Springer, 2019, s. 314–325.
• [2] V. Behzadan, A. Munir. Mitigation of policy manipulation attacks on deep q-networks with parameter-space noise. In: International Conference on Computer Safety, Reliability, and Security. Proceedings. Springer, 2018, s. 406–417.
• [3] B. Dieber et al. Security for the robot operating system. Robotics and Autonomous Systems, 2017, wolumen 98, s. 192–203.
• [4] J. Gao et al. Deep reinforcement learning for indoor mobile robot path planning. Sensors, 2020, wolumen 20, numer 19.
• [5] S. Gu et al. Continuous deep Q-learning with model-based acceleration. In: International conference on machine learning. Proceedings. PMLR, 2016, s. 2829–2838.
• [6] J. Ibarz et al. How to train your robot with deep reinforcement learning: lessons we have learned. The International Journal of Robotics Research, 2021, wolumen 40, numer 4–5, s. 698–721.
• [7] I. Ilahi et al. Challenges and countermeasures for adversarial attacks on deep reinforcement learning. IEEE Transactions on Artificial Intelligence, 2021, wolumen 3, numer 2, s. 90–109.
• [8] J. Kos, D. Song. Delving into adversarial attacks on deep policies. arXiv preprint arXiv:1705.06452, 2017.
• [9] O. Kroemer, S. Niekum, G. Konidaris. A review of robot learning for manipulation: Challenges, representations, and algorithms. Journal of machine learning research, 2021, wolumen 22, numer 30.
• [10] M. Lechner et al. Adversarial training is not ready for robot learning. 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, s. 4140–4147.
• [11] F. Leiva, K. Lobos-Tsunekawa, J. Ruiz-del Solar. Collision avoidance for indoor service robots through multimodal deep reinforcement learning. In: Robot World Cup. Proceedings. Springer, 2019, s. 140–153.
• [12] T. P. Lillicrap et al. Continuous control with deep reinforcement learning. CoRR, 2016, wolumen abs/1509.02971.
• [13] Y.-C. Lin et al. Detecting adversarial attacks on neural network policies with visual foresight. arXiv preprint arXiv:1710.00814, 2017.
• [14] V. Mayoral-Vilches. Robot cybersecurity, a review. International Journal of Cyber Forensics and Advanced Threat Investigations, 2022.
• [15] J. McClean et al. A preliminary cyber-physical security assessment of the Robot Operating System (ROS). In: Unmanned Systems Technology XV. Proceedings Red. R. E. Karlsen et al. International Society for Optics and Photonics, SPIE, 2013. wolumen 8741, s. 341 – 348.
• [16] V. Mnih et al. Asynchronous methods for deep reinforcement learning. In: International conference on machine learning. Proceedings. PMLR, 2016, s. 1928–1937.
• [17] V. Mnih et al. Human-level control through deep reinforcement learning. nature, 2015, wolumen 518, numer 7540, s. 529–533.
• [18] A. Pattanaik et al. Robust deep reinforcement learning with adversarial attacks. In: AAMAS. Proceedings, 2018.
• [19] M. Quigley et al. Ros: an open-source robot operating system. In: ICRA work- shop on open source software. Proceedings. Kobe, Japan, 2009. wolumen 3, s. 5.
• [20] A. A. Rusu et al. Policy distillation. CoRR, 2016, wolumen abs/1511.06295.
• [21] J. Schulman et al. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.
• [22] J. Sun et al. Stealthy and efficient adversarial attacks against deep reinforcement learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Proceedings, 2020. wolumen 34, s. 5883–5891.
• [23] C. Szegedy et al. Intriguing properties of neural networks. CoRR, 2014, wolumen abs/1312.6199.
• [24] C. Xiao et al. Characterizing attacks on deep reinforcement learning. arXiv preprint arXiv:1907.09470, 2019.
• [25] K. Zhu, T. Zhang. Deep reinforcement learning based mobile robot navigation: A review. Tsinghua Science and Technology, 2021, wolumen 26, numer 5, s. 674–691.

Uwagi

PL

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).