Wyniki wyszukiwania - BazTech

1

The comparison of efficacy the gestures recognition algorithms based on RGB and RGB-D cameras for intuitive smart home control

Ambroziak A., Rodak M., Chojecki A., Borkowski P.

Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej

|

2018

|

Nr 61

9--14

EN

This paper presents a comparison of the authors’ presence detection and gesture interpretation algorithm for a RGB camera with a commercial algorithm for a RGB-D camera for smart home control. The author’s presence detection algorithm is based on MOG2 algorithm employed for background learning and mathematical conversions for identification of position of an arm. The latter algorithm employs a depth camera to take pictures at which a human skeleton is overlaid and thus position of an arm in three-dimensional space is identified. The author’s algorithm enables to achieve better efficacy of gesture recognition (statistically of around 20%) employing less hardware resources at the same time. This makes it perfect for smart home automation control applications especially for people with disabilities.

PL

Artykuł prezentuje porównanie autorskiego algorytmu wykrywania gestu dla kamery RGB z algorytmem komercyjnym dla kamery RGB–D, na potrzeby sterowania inteligentnym budynkiem. Autorski algorytm oparty jest na algorytmie MOG2, wykorzystywanym do uczenia tła oraz w matematycznych przekształceniach w celu wykrycia pozycji ramienia. Na tej podstawie określany jest wektor wyznaczane przez rękę wskazującą na dany obiekt. Wskazywany element jest porównywany z bazą obiektów, następnie wykonywana jest związana z nim interakcja. Porównywany był on z komercyjnym algorytmem wykorzystującym kamerę głębi, która nakładała szkielet człowieka na obraz i pozycjonowała ramię w przestrzeni trójwymiarowej. Opracowany algorytm pozwala na osiągnięcie wymiernie lepszych wyników w skuteczności rozpoznawania (o ok. 20% w ujęciu statystycznym) w stosunku do komercyjnego algorytmu, przy mniejszym wykorzystaniu zasobów sprzętowych. Pozwala to na zastosowanie algorytmu w istniejących oraz nowo powstałych budynkach mieszkalnych, wykorzystując do jego implementacji mikrokomputery.

2

The use of machine vision to control the basic functions of a CNC machine tool using gestures

Miądlicki K., Saków M.

Technical Transactions

|

2017

|

Vol. 12(114)

213--229

EN

This paper presents a concept of a vision system which can simplify the way in which some basic functions of CNC machines can be controlled. The proposed system enables the operator to control a machine tool using gestures. The developed solution is based on Microsoft Kinect for a Windows v2 sensor with a time-offlight camera. A gesture recognition module was implemented in the VC 760 milling machine with an open control system (O.C.E.A.N.). To conduct tests of the proposed interface, a set of gestures used to control a CNC machine was developed. Furthermore, the concept, the structure of the system and the test results are discussed. In summary, the advantages and potential problems of the proposed control system and plans for future development are discussed.

PL

W artykule przedstawiona została koncepcja systemu wizyjnego umożliwiającego kontrolowanie i programowanie obrabiarki CNC za pomocą gestów. Opracowane rozwiązanie ułatwia obsługę obrabiarki CNC poprzez rozpoznawanie gestów wykonywanych przez operatora. Do realizacji sytemu wykorzystany został kontroler ruchu Microsoft Kinect for Windows v2. System rozpoznawania gestów zastosowano w otwartym systemie sterowania obrabiarki VC 760 (O.C.E.A.N.). W ramach badań opracowane zostały zestawy gestów pozwalających na sterowanie obrabiarką CNC. W artykule omówiono koncepcję i budowę systemu oraz wyniki przeprowadzonych testów. W podsumowaniu wskazano zalety oraz potencjalne problemy związane ze strukturą i zastosowaniem systemu, a także zarysowano plany jego dalszego rozwoju.

3

MEMS based system for controlling and programing industrial manipulator FANUC S-420F using gestures

Stateczny K., Pajor M., Miądlicki K., Saków M.

Journal of Machine Construction and Maintenance - Problemy Eksploatacji

|

2017

|

no. 4

81--89

EN

The paper presents a mobile system dedicated to an industrial manipulator control. For this purpose, an interface was designed to be used for intuitive interaction with a robot, which consists of a measuring scanner for the orientation of the human upper limb, and a glove to measure the deflection of fingers. Basic gestures used for moving the manipulator have been proposed. The paper was based on the previous experience obtained in the implementation of projects which entailed manual programming of CNC machine tools. The system shall be a starting point for the construction of a control interface for other mechanical devices.

PL

W pracy przedstawiono mobilny system do poruszania manipulatorem przemysłowym. W tym celu zaprojektowano interfejs służący do intuicyjnej interakcji z robotem, na który składa się skaner mierzący orientację kończyny górnej oraz rękawicę do mierzenia ugięcia palców dłoni. Zaproponowano podstawowe gesty do poruszania manipulatorem. Pracę oparto na dotychczasowych doświadczeniach zdobytych przy realizacji projektów nad programowaniem manualnym obrabiarek CNC. System stanowi punkt wyjściowy do budowy interfejsu obsługi innych urządzeń mechanicznych.

4

Using gesture and voice commands for the Tribot robot control

Czekalski P., Golenia M., Lipka Ł., Tokarz K.

Studia Informatica

|

2015

|

Vol. 36, nr 3

11--25

EN

Presented project integrates seamlessly modern device control methods into one, solid solution. The Project is in touch-less control algorithm to the robotics, considered as a technology sampler for feature industrial usage. It implements gesture and voice recognition based solution to control the mobile Tribot robot driving over flat, two dimensional surface. It integrates Microsoft Kinect sensor, Lego Mindstorms NXT robot and a PC computer all together. It also provides voice con-trolled calibration of the human to machine interface.

PL

W dokumencie opisano projekt, w którym zintegrowano nowoczesne metody sterowania bezdotykowego robotem mobilnym przy użyciu gestów oraz rozpoznawania głosu. Przedmiotem sterowania jest robot zbudowany na platformie Lego Mindstorms NXT, poruszający się po dwuwymiarowej przestrzeni. Rozwiązanie integruje sensor Microsoft Kinect do sterowania robotem oraz metodę kalibracji położenia użytkownika za pomocą rozpoznawania komend głosowych.

5

Sterowanie robotem za pomocą gestów z wykorzystaniem czujnika ruchu

Wieszok Z., Lipka Ł.

Medical Robotics Reports

|

2014

|

vol. 3

46--51

PL

W niniejszym artykule opisano projekt, w którym przedstawiona została metoda bezdotykowego sterowania robota z zastosowaniem czujnika ruchu Kinect. Obiektem sterowanym jest jeżdżący robot składający się z: podwozia, silnika oraz modułu do komunikacji. Sterowanie odbywa się za pomocą sensora Microsoft Kinect wraz z odpowiednią analizą gestów sterujących. Przedstawiono algorytm sterowania oraz propozycje rozwiązania problemów wynikających z charakterystyki metody sterowania. Poruszono kwestię dopasowania algorytmu do budowy fizycznej osoby sterującej, zwiększenie dokładności sterowania w kluczowych zakresach oraz problemu śledzenia wielu osób znajdujących się przed czujnikiem.

EN

This paper describes the project that demonstrates the use of the Kinect motion sensor to control the robot using hand gestures. The controlled object is robot comprising of: the chassis, electronic components, engine and communication module. The control is done using the Microsoft Kinect sensor and proper analysis of controls gesture.

6

Kinect sensor implementation in FANUC robot manipulation

Pajor M., Miądlicki K, Saków M

Archives of Mechanical Technology and Automation

|

2014

|

Vol. 34, no. 3

35--44

EN

W artykule przedstawiono system sterowana robotem przemysłowym FANUC S-420F o sześciu stopniach swobody. Jest on oparty na śledzeniu gestów operatora i ich rozpoznawaniu za pomocą kontrolera ruchu Microsoft Kinect. Dzięki wykorzystaniu ręki operatora jako kontrolera uzyskano naturalny, intuicyjny sposób sterowania robotem, naśladujący codzienną czynność przynoszenia przedmiotów. Do realizacji systemu wykorzystano środowisko Matlab/Simulink z pakietem Kinect for Windows Runtime oraz biblioteki Kinect SDK & Developer Toolkit. Na potrzeby badań zaproponowanego systemu opracowano zestaw podstawowych gestów, które pozwalają na sterowanie robotem. Testy obejmowały wpływ na system m.in. takich parametrów, jak oświetlenie i szybkość wykonywania gestów przez operatora. W artykule przedstawiono uzyskane wyniki oraz omówiono zalety zaproponowanego systemu sterowania i potencjalne problemy.