In this paper, a prototype lifelogging system for monitoring people with cognitive disabilities and elderly people as well as a method for the automatic detection of dangerous activities are presented. The system allows for the remote monitoring of observed people via an Internet website and respects the privacy of the people by displaying their silhouettes instead of their actual images. The application allows for the viewing of both real-time and historical data. The lifelogging data (skeleton coordinates) needed for posture and activity recognition are acquired using Microsoft Kinect 2.0. Several activities are marked as potentially dangerous and generate alarms sent to caregivers upon detection. Recognition models are developed using Averaged Hidden Markov Models with multiple learning sequences. Action recognition includes methods for dierentiating between normal and potentially dangerous activities (e.g., self-aggressive autistic behavior) using the same motion trajectory. Some activity recognition examples and results are presented.
One of the main trends in industrial robotics is collaboration between human and robot. Collaboration is applied especially in the field of assembly tasks. The current automation technology is not at the level that could ensure demanding tasks. These tasks are often associated with actions requiring human skills. Many manufacturers of industrial robot offer a solution in a form of a collaborative robot. These robots represent new opportunities for industry. In order to further develop the area of collaborative robotics, it is necessary to look for new technologies. This article deals with design of method which is based on open source platform. The method is applied to solve a real assembly task.
3
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
This paper presents a concept of a vision system which can simplify the way in which some basic functions of CNC machines can be controlled. The proposed system enables the operator to control a machine tool using gestures. The developed solution is based on Microsoft Kinect for a Windows v2 sensor with a time-offlight camera. A gesture recognition module was implemented in the VC 760 milling machine with an open control system (O.C.E.A.N.). To conduct tests of the proposed interface, a set of gestures used to control a CNC machine was developed. Furthermore, the concept, the structure of the system and the test results are discussed. In summary, the advantages and potential problems of the proposed control system and plans for future development are discussed.
PL
W artykule przedstawiona została koncepcja systemu wizyjnego umożliwiającego kontrolowanie i programowanie obrabiarki CNC za pomocą gestów. Opracowane rozwiązanie ułatwia obsługę obrabiarki CNC poprzez rozpoznawanie gestów wykonywanych przez operatora. Do realizacji sytemu wykorzystany został kontroler ruchu Microsoft Kinect for Windows v2. System rozpoznawania gestów zastosowano w otwartym systemie sterowania obrabiarki VC 760 (O.C.E.A.N.). W ramach badań opracowane zostały zestawy gestów pozwalających na sterowanie obrabiarką CNC. W artykule omówiono koncepcję i budowę systemu oraz wyniki przeprowadzonych testów. W podsumowaniu wskazano zalety oraz potencjalne problemy związane ze strukturą i zastosowaniem systemu, a także zarysowano plany jego dalszego rozwoju.
W niniejszym artykule zaproponowano realizację systemu wspomagajacego rozpoznawanie statycznych znaków języka migowego. Na potrzeby rozwiązania skorzystano z sensora Microsoft Kinect XBOX 360, przygotowano oprogramowanie umożliwiające translację znaków dla osób nie znających tego języka, oparte na sztucznej inteligencji, przetworzono otrzymane informacje oraz utworzono zbiór danych pozwalający na ich poprawną klasyfikację. Istotnym faktem jest również wybranie najbardziej optymalnego rozwiązania, zarówno pod względem możliwości wydajnościowych przeciętnego komputera osobistego jak i efektywności działania systemu.
EN
In following work there is suggested a solution to recognise certain static characters from sign language. To achieve the objective, there were used tools like Microsoft Kinect and convolutional neural networks. Main problems to overcome were to collect data from Kinect sensor and prepare software based on artificial intelligence, which could process gathered material. For learning purposes around four thousand images were collected. Dataset this large was required for neural networks to work and respond properly. What is also important is to select the most optimal solution for neural networks. The influence of dropout parameter on learning process was studied too.
The article deals with the possibility of implementing ergonomics analysis in digital factory with focus on the load analysis of the human musculoskeletal system. The emphasis is on research results in the area of connection of simulation software on the inertial and optical MoCap systems. The importance of these analyses is to estimate as accurately as possible the effects on human health due to the design of work systems at the design stage. This article deals with the theoretical basis, the results of laboratory verification and the results of implementation outputs.
PL
Artykuł przedstawia możliwości wykonania analizy ergonomicznej w oparciu o narzędzia cyfrowej fabryki, zwłaszcza w zakresie analizy obciążenia ludzkiego układu mięśniowo-szkieletowego. Szczególną uwagę zwrócono na wyniki badań związanych z połączeniem oprogramowania symulacyjnego oraz inercyjnych i optycznych systemów MoCap. Istotą wymienionych analiz jest możliwość dokładnego oszacowania wpływu wykonywanej pracy na zdrowie ludzkie, już na etapie projektowania systemów pracy. W artykule przedstawiono podstawy teoretyczne, wyniki badań laboratoryjnych oraz rezultaty stosowania zaproponowanych rozwiązań.
In this paper a problem of simultaneous information acquisition from multiple depth cameras is investigated, aiming at obtaining single overall picture containing information from all cameras. The experiments are carried out on Microsoft Kinect devices. A methodology for merging images from multiple positioned in a line cameras is proposed. The method is based on the concept of simulating a view of an imaginary camera covering the field of view of depth cameras. For each considered pixel from cameras' views the position in imaginary camera view is established by using geometric properties. As exemplary usage merging of user masks is presented in the paper. The method could be as well utilized for merging locations of other specific points like detected user joints, or even full depth scenes.
PL
W niniejszej pracy poruszony został problem scalania danych pozyskiwanych z rownolegle ustawionych czujnikow głębokości do postaci pojedynczego obrazu. Eksperymenty prowadzone były na urządzeniach Microsoft Kinect. Przedstawiona metoda umożliwia scalanie obrazow z czujnikow ustawionych w linii prostej w oparciu o symulację obrazu wirtualnego czujnika, ktorej pole widzenia obejmuje zasięg czujnikow głębokości. Jako przykład zastosowania metody, w pracy przedstawiono łączenie sylwetek użytkownikow rejestrowanych przez rożne czujniki. Metoda może służyć rownież do łączenia innych charakterystycznych punktow lub nawet kompletnych obrazow głębokościowych.
7
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
Typowym zastosowaniem interfejsu Microsoft Kinect jest rozpoznawanie ruchu. Możliwość tę wykorzystuje się głównie w grach. W tej pracy zamieszczono opis innego zastosowania interfejsu Kinect. Przedstawiono kolejne kroki, które prowadzą od przechwycenia ruchu obiektu, aż do stworzenia prostej animacji komputerowej.
EN
A typical application of interface Microsoft Kinect is motion detection. This possibility is mainly used in games. In this work, a description of other application of Kinect interface is placed. The paper presents the consecutive steps that lead from the motion capture, to making a simple computer animation.
Praca dotyczy nowego podejścia wykorzystania analizy chodu do automatycznej weryfikacji tożsamości. W zaproponowanym algorytmie do weryfikacji tożsamości wykorzystywane są dane z modułu Skeletal Tracking obsługującego urządzenie Microsoft Kinect. Praca prezentuje metodę wstępnego przetwarzania sygnału pobranego z Kinecta, umożliwiającą późniejszą segmentację i wykorzystanie danych w procesie weryfikacji. W artykule zaproponowano następujący dwufazowy algorytm weryfikacji: w pierwszym etapie odrzuca on osoby na podstawie geometrii ciała, a w drugim na podstawie dynamiki chodu. Otrzymane za pomocą tej metody wyniki są porównywalne z tymi prezentowanymi w literaturze, ale w przeciwieństwie do nich w prezentowanym podejściu wykorzystuje się jeden sensor.
EN
The article presents an analysis of gait data for the purpose of automatic human identification. The data used for the analysis was captured with a Microsoft Kinect sensor and transformed by the Skeletal Tracking SDK. A gait recognition system based on the body geometry and analysis of signal describing movements of individual body parts was developed. Experiments were counducted to compare performance of several machine learning algorithms used for verification.
W artykule przedstawiono system sterowania gestem opartego na czujniku Microsoft Kinect. Omówiono najpopularniejsze środowiska umożliwiające realizację systemu zintegrowanego, wykorzystującego różnorodny sprzęt i oprogramowanie. Przygotowano algorytm bezdotykowego sterowania manipulatorem. Przedstawiono wyniki eksperymentów, przeprowadzonych w celu określenia dokładności i dobrania optymalnej metody sterowania.
EN
The article presents a gesture control system based on the Microsoft Kinect sensor. The most popular environments for implementation of the system realization using a variety of equipment and software are discussed. The prepared algorithm for non-contact control of the manipulator is presented. The paper discusses the results of experiments conducted to determine the accuracy of the control and the optimal control method.
10
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
W artykule przedstawiono system sterowana robotem przemysłowym FANUC S-420F o sześciu stopniach swobody. Jest on oparty na śledzeniu gestów operatora i ich rozpoznawaniu za pomocą kontrolera ruchu Microsoft Kinect. Dzięki wykorzystaniu ręki operatora jako kontrolera uzyskano naturalny, intuicyjny sposób sterowania robotem, naśladujący codzienną czynność przynoszenia przedmiotów. Do realizacji systemu wykorzystano środowisko Matlab/Simulink z pakietem Kinect for Windows Runtime oraz biblioteki Kinect SDK & Developer Toolkit. Na potrzeby badań zaproponowanego systemu opracowano zestaw podstawowych gestów, które pozwalają na sterowanie robotem. Testy obejmowały wpływ na system m.in. takich parametrów, jak oświetlenie i szybkość wykonywania gestów przez operatora. W artykule przedstawiono uzyskane wyniki oraz omówiono zalety zaproponowanego systemu sterowania i potencjalne problemy.
W artykule został opisany proces projektowania i realizacji aplikacji, przeznaczonej do analizy, w czasie rzeczywistym, obrazów cyfrowych zawierających symbole języka migowego. Stworzone oprogramowanie zostało napisane w języku C++. Wykorzystuje ono bibliotekę OpenCV w połączeniu z sensorem Microsoft Kinect. Oprogramowanie przetwarza około 15 klatek obrazu w ciągu sekundy i rozpoznaje gesty ze skutecznością 71% . Opracowane oprogramowanie jest odporne w znacznym stopniu na wpływ warunków oświetleniowych.
EN
The paper describes the implementation process of application that recognizes sign language symbols which are presented by a user in real time. The first part of this paper presents software and libraries used by this program. It also contains description of a Microsoft Kinect sensor with explanation of its operation. The second part of this paper is dedicated to KinectSL application. It presents the structure of the application, its algorithm and a study that led to the described method of recognizing sign language gestures. Section 5 deals with main problems that appeared while working on the project such as detecting writs and fingers. Subsection 5.4 contains the detailed explanation of parameters that are passed to a KNN classifier and formulas necessary to compute them. The presented application is multi-platform and can be run on Windows, Linux and MacOS operating systems. This software is able to recognize gestures for two hand at once that allows it to support advanced gestures. The tests carried out showed that KinectSL processed 15 frames per second and its performance of gestures recognizing was above 71 percent. The described system is a good basis to create a program that will be able to fluent translate sign language. It can also be used in industry and entertainment to control processes with user gestures.
W artykule opisano zastosowanie kontrolera ruchu Microsoft Xbox 360 Kinect i środowiska Matlab do prototypowania interfejsów, które umożliwiają sterowanie za pomocą gestów. Opisano architekturę systemu oraz sposób komunikacji z kontrolerem ruchu i środowiskiem Matlab. Zaproponowano sposób generowania kodu w języku C++ na podstawie skryptów Matlaba, a także sposób dołączenia go do budowanego systemu.
EN
The problem of the use of motion controller Microsoft Xbox 360 Kinect and the Matlab environment for prototyping interfaces that allow control by gestures is considered in the paper. The architecture of a created system, including software communication with the motion controller and the Matlab environment, has been described. The way of generating and using C++ code based on Matlab scripts is presented.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.