Klasyfikacja postur człowieka z wykorzystaniem sieci neuronowej

• Autorzy: Cydejko Jakub , Dutta Vibekananda , Zielińska Teresa

Warianty tytułu

EN

Classification of Human Postures using Neural Network

• Języki publikacji: PL

Abstrakty

PL

Rozpoznawanie postur jest potrzebne do analizy czynności wykonywanych przez człowieka, syntezy ruchu robotów humanoidalnych oraz w badaniach nad robotami współpracującymi. Popularne w ostatnich latach tanie, bezprzewodowe czujniki wizyjne RGB-D umożliwiające łatwa˛ rejestracje˛ ruchu człowieka, ułatwiają˛ realizacje˛ tego zadania badawczego. Powszechnie stosowane są, tu konwencjonalne klasyfikatory, które na podstawie zarejestrowanych trajektorii ruchu stawów rozpoznają˛ postury człowieka. Nie sprawdzają, się, one jednak w pełni podczas obserwacji ruchu w płaszczyźnie strzałkowej, gdy pozycje niektórych stawów są, przesłonięte. Celem niniejszej pracy jest opracowanie nowej metody klasyfikacji postur. Opracowana metoda umożliwia rozpoznawanie aktywności z wykorzystaniem konkurencyjnej sieci neuronowej (CNN). Badania zrealizowano w dwu etapach. Pierwszy etap obejmował wstępne przetwarzanie danych, obejmujący filtrowanie i transformacje˛ danych. Drugim etapem było dobranie odpowiedniej sieci klasyfikującej. Zastosowano sieć konkurencyjną z uczeniem nienadzorowanym. Jakość klasyfikacji była testowana w zależności od różnych metryk odległości. Po wyborze satysfakcjonującej metryki dokonano jakościowej i ilościowej oceny uzyskanych wyników. Porównano wyniki klasyfikacji uzyskane przy użyciu rożnych typów sieci neuronowych. W zakończeniu pracy sformułowano szereg wniosków.

EN

Popular in recent years, cheap, wireless RGB-D vision sensors enable easy registration of human movement to facilitate the implementation of this research task. Here, the conventional classifiers are commonly used, which recognize human postures based on the recorded trajectories of joint movement. However, it does not perform well when observing movement in the sagittal plane because the positions of some joints are invisible here. The aim of the work is to develop a method for postures classification leading to the classification of human activities using data recorded by the RGB-D cameras. The method enables the recognition of activity with the use of a competitive neural network (CNN). The research was carried out in two stages. First, data preprocessing was performed, including raw data filtering and transformation to locate the origin of the reference frame in the point in the torso and scaling to obtain a consistent representation of the data. The classification quality was then tested using different variants of the proposed unsupervised variants of competitive neural networks. Various measures of distance have been used here. The results were presented graphically using scatter plots and stick diagrams.

Słowa kluczowe

PL

systemy wizyjne; systemy sensoryczne; sieci neuronowe

EN

vision systems; sensory system; neural networks

• Wydawca: Oficyna Wydawnicza Politechniki Warszawskiej
• Czasopismo: Prace Naukowe Politechniki Warszawskiej. Elektronika
• Rocznik: 2022
• Tom: z. 197, t. 2
• Strony: 39--50
• Opis fizyczny: Bibliogr. 18 poz., rys., tab., wykr.

Twórcy

autor

Cydejko Jakub

• Instytut Automatyki i Robotyki, Wydział Mechatroniki, Politechnika Warszawska

autor

Dutta Vibekananda

• Instytut Mikromechaniki i Fotoniki,Wydział Mechatroniki, PolitechnikaWarszawska

autor

Zielińska Teresa

• Instytutu Techniki Lotniczej i Mechaniki Stosowanej, Wydział Mechaniczny Energetyki i Lotnictwa, Politechnika Warszawska

Bibliografia

• [1] T. Zielinska et al. Variable Inverted Pendulum Applied to Humanoid Motion Design. Robotica, 2021, 39(8), pp.1368-1389.
• [2] J. Kwon et al. Comparative Study of Markerless Vision-Based Gait Analyses for Person Re-Identification. Sensors, 2021, 21(24), p.8208.
• [3] L. Wang et al. Silhouette Analysis-Based Gait Recognition for Human Identification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(12), pp.1505-1518.
• [4] V. Farrahi et al. Calibration and Validation of Accelerometer-Based Activity Monitors: A systematic Review of Machine-Learning Approaches. Gait & Posture, 2019, 68, pp.285-299.
• [5] J. Liu et al. 3D PostureNet: A Unified Framework for Skeleton-Based Posture Recognition. Pattern Recognition Letters, 2020, 140, pp.143-149.
• [6] V. Dutta and T. Zielinska. Predicting Human Actions Taking into Account Object Affordances. Journal of Intelligent & Robotic Systems, 2019, 93(3), pp.745-761.
• [7] L.E. Ortiz et al. Depth Data Error Modeling of the ZED 3D Vision Sensor from Stereolabs. ELCVIA: Electronic Letters on Computer Vision and Image Analysis, 2018, 17(1), pp.1-15.
• [8] X. Wang et al. Measurement Method of Human Lower Limb Joint Range of Motion Through Human-Machine Interaction Based on Machine Vision. Frontiers in Neurorobotics, 2021, 15.
• [9] S. Vafadar et al. A Novel Dataset and Deep Learning-Based Approach for Marker-Less Motion Capture During Gait. Gait & Posture, 2021, 86, pp.70-76.
• [10] J.N. Kundu et al. Cross-Conditioned Recurrent Networks for Long-Term Synthesis of Inter-Person Human Motion Interactions. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2020, pp. 2724-2733.
• [11] J.N. Kundu et al. Unsupervised Feature Learning of Human Actions as Trajectories in Pose Embedding Manifold. In 2019 IEEE Winter Conference on Applications of Computer Vision (WACV), 2019, pp.1459-1467.
• [12] J. Chen et al. A Simple Method for Reconstructing a High-Quality NDVI Time-Series Data Set Based on the Savitzky–Golay Filter. Remote Sensing of Environment, 2004, 91(3-4), pp.332-344.
• [13] A.R. Abas. Adaptive Competitive Learning Neural Networks. Egyptian Informatics Journal, 2013, 14(3), pp.183-194.
• [14] G. Budura et al. Competitive Learning Algorithms for Data Clustering. Facta Universitatis-Series: Electronics and Energetics, 2006, 19(2), pp.261-269.
• [15] D. E. Rumelhart. and D. Zipser. Feature Discovery by Competitive Learning. In Parallel Distributed Processing: Explorations in the Microstructure of Cognition, vol. 1: Foundations, 1986, pp. 151-193.
• [16] E. J. Palomo et al. A Competitive Neural Network for Intrusion Detection Systems. In International Conference on Modelling, Computation and Optimization in Information Systems and Management Sciences, 2008, pp.530-537.
• [17] K. H. Chuang et al. Model-Free Functional MRI Analysis using Kohonen Clustering Neural Network and Fuzzy C-means. IEEE Transactions on Medical Imaging, 1999, 18(12), pp.1117-1128.
• [18] V. Dutta and T. Zielinska. Prognosing Human Activity using Actions Forecast and Structured Database. IEEE Access, 2020, 8, pp.6098-6116.

Uwagi

PL

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).