Intuicyjny interfejs programowania robota z neuronowymi modułami do interpretacji sceny

Kulecki, Bartłomiej; Belter, Dominik

Artykuł - szczegóły

Tytuł artykułu

Intuicyjny interfejs programowania robota z neuronowymi modułami do interpretacji sceny

Autorzy

Kulecki Bartłomiej , Belter Dominik

Identyfikatory

Warianty tytułu

Robot programming interface with a neural scene understanding system

Języki publikacji

Abstrakty

W niniejszym artykule badany jest problem programowania robota przy użyciu języka naturalnego. W Zaproponowanym systemie wykorzystano moduły rozpoznawania głosu, neuronowej detekcji obiektów na scenie, wskaźnika oraz estymacji gestów operatora do implementacji nowego interfejsu człowiek-robot, który pozwala na definiowanie zadanego ruchu robota. Stworzony interfejs integruje wymienione moduły oraz umożliwia programowanie i interakcję z robotem bez konieczności stosowania specjalnie zaprojektowanych interfejsów sprzętowych oraz znajomości wiedzy specjalistycznej. W artykule dokonano analizy efektywności programowania robotów za pomocą zaproponowanych interfejsów oraz porównano do standardowych metod programowania robotów.

In this paper, we propose a system for natural and intuitive interaction with the robot arm. The goal is to program the motion of the robot without the use of specialistic knowledge and training about robots programming. We utilize data from the RGB-D camera to segment the scene and detect objects. We also define the configuration of the operator’s hand and the position of the visual marker to estimate the intentions of the operator and define the actions of the robot. To this end, we utilize trained neural networks and operations on the input point clouds. We also use voice commands to define or trigger the execution of the motion. Finally, we performed a set of experiments to show the properties of the proposed system.

Słowa kluczowe

systemy wizyjne systemy sensoryczne robot sieci neuronowe

vision systems sensory system robot neural networks

Wydawca

Oficyna Wydawnicza Politechniki Warszawskiej

Czasopismo

Prace Naukowe Politechniki Warszawskiej. Elektronika

Rocznik

2022

Tom

z. 197, t. 2

Strony

89--98

Opis fizyczny

Bibliogr. 20 poz., rys., tab., wykr.

Twórcy

autor

Kulecki Bartłomiej

Bartlomiej.kulecki@put.poznan.pl

Instytut Robotyki i Inteligencji Maszynowej, Politechnika Poznańska

autor

Belter Dominik

Instytut Robotyki i Inteligencji Maszynowej, Politechnika Poznańska

Bibliografia

1. Riccardo Adamini et al. User-friendly human-robot interaction based on voice commands and visual systems. In: 2021 24th International Conference on Mechatronics Technology (ICMT). Proceedings, 2021, s. 1-5.
2. Alexey Bochkoviskiy, Chien-Yao Wang, Hong-Yuan Mark Liao. YOLOv4: Optimal speed and accuracy of object detection. CoRR, 2020, wolumen abs/2004.10934.
3. Paloma de la Puente et al. Grasping objects from the floor in assictive robotics: Real world implications and lessons learned. IEEE Access, 08, 2019, wolumen 7, s. 123725-123735.
4. Guanglong Du, Ping Zhang. A markerless human-robot interface using particle filter and Kalman filter for dual robots. IEEE Trans. Ind. Electron., 2015, wolumen 62, numer 4, s. 2257-2264.
5. Wojciech Dudek, Tomasz Winiarski. Scheduling of a robot’s tasks with the tasker framework. IEEE Access, 2020, wolumen 8, s. 161449-161471.
6. Quing Gao et al. Dual-hand detection for human-robot interaction by a parallel network based on hand detection and body pose estimation. IEEE Transactions on Industrial Electronics, 2019, woluemn 66, numer 12, s. 9663-9672.
7. Marcus Gualtieri et al. Open world assistive grasping using laser selection. In: 2017 IEEE International Conference on Robotics and Automation (ICRA). Proceedings, 2017, s. 4052-4057.
8. Kaiming He et al. Mask R-CNN. In: 2017 IEEE International Conference on Computer Vision (ICCV). Proceedings, 2017, s. 2980-2988.
9. Bartłomiej Kulecki. Intuitive robot programming and interaction using RGB-D perception and CNN-based objects detection. In: Automation 2022: New Solutions and Technologies for Automation, robotics and Measurement Techniques. Proceedings Red. Roman Szewczyk, Cezary Zieliński, Małgorzata Kaliczyńska, Cham, Springer International Publishing, 2022, s. 233-243.
10. Bartlomiej Kluecki, Dominik Belter. Robot programming interface with a neural scene understanding system. Proceedings of the 3rd Polish Conference on Artificial Intelligence, April 25-27, 2022, s. 130-133.
11. Bartlomiej Kluecki et al. Practical aspects of detection and grasping objects by a mobile manipulating robot. Industrial Robot, Jan, 2021, wolumen 48, numer 5, s.688-699.
12. Wei Liu et al. SSD: Single shot multibox detector. Lecture Notes in Computer Science, 2016, s. 21-37.
13. Xiaoling Lv, Minglu Zhang, Hui Li. Robot control based on voice command. In: 2008 IEEE International Conference on Automation and Logistics. Proceedings, 2008, s. 2490-2494.
14. Osama Mazhar et al. Towards real-time physical human-robot interaction using skeleton information and hand gestures. In: IEEE/RSJ Int. Conf. on Int. Robots and Systems (IROS). Proceedings, 2018, s. 1-6.
15. Cristina Nuzzi et al. Deep learning-based gesture recognition for collaborative robots. IEEE Instrumentation Measurement Magazine, 2019, wolumen 22, numer 2, s. 44-51
16. Kyeong-Beom Park et al. Hands-free human-robot interaction using multimodal gestures and deep ;earning in wearable mixed reality. IEEE Access, 2021, wolumen 9, s. 55448-55464.
17. Pasd Putthapipat, Chutitep Woralert, Phumiphat Sirinimnuankul. Speech recognition gateway for home automation on open platform. In: 2018 International conference on Electronics, Information and Communication (ICEIC). Proceedings, 2018, s. 1-4.
18. Sudeep Sharan et al. Implementation and testing of voice control in a mobile robot for navigation. In: 2019 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). Proceedings, 2019, s. 145-150.
19. Miguel Simao, Pedro Neto, Olivier Gibaru. Natural control of an industrial robot using hand gesture recognition with neural networks. In: IECON 2016 – 42nd Annual Conference of the IEEE Industrial Electronics Society. Proceedings, 2016, s. 5322-5327.
20. Fan Zhang et al. Mediapipe hands: On-device real-time hand tracking, 2020.

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-71bb424f-7f40-473e-95cb-e38ff0e78fc0