Using gesture and voice commands for the Tribot robot control

• Autorzy: Czekalski P. , Golenia M. , Lipka Ł. , Tokarz K.

Warianty tytułu

PL

Integracja sterowania gestami i rozpoznawania głosu w zastosowaniach do sterowania robotami mobilnymi

• Języki publikacji: EN

Abstrakty

EN

Presented project integrates seamlessly modern device control methods into one, solid solution. The Project is in touch-less control algorithm to the robotics, considered as a technology sampler for feature industrial usage. It implements gesture and voice recognition based solution to control the mobile Tribot robot driving over flat, two dimensional surface. It integrates Microsoft Kinect sensor, Lego Mindstorms NXT robot and a PC computer all together. It also provides voice con-trolled calibration of the human to machine interface.

PL

W dokumencie opisano projekt, w którym zintegrowano nowoczesne metody sterowania bezdotykowego robotem mobilnym przy użyciu gestów oraz rozpoznawania głosu. Przedmiotem sterowania jest robot zbudowany na platformie Lego Mindstorms NXT, poruszający się po dwuwymiarowej przestrzeni. Rozwiązanie integruje sensor Microsoft Kinect do sterowania robotem oraz metodę kalibracji położenia użytkownika za pomocą rozpoznawania komend głosowych.

Słowa kluczowe

EN

gesture control; mobile robot; speech recognition; NXT; Kinect

PL

sterowanie gestami; robot mobilny; rozpoznawanie głosu; NXT; Kinect

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2015
• Tom: Vol. 36, nr 3
• Strony: 11--25
• Opis fizyczny: Bibliogr. 16 poz.

Twórcy

autor

Czekalski P.

• Politechnika Śląska, Instytut Informatyki, ul. Akademicka 16, 44-100 Gliwice, Polska

autor

Golenia M.

• Politechnika Śląska, Instytut Informatyki, ul. Akademicka 16, 44-100 Gliwice, Polska

autor

Lipka Ł.

• Politechnika Śląska, Instytut Informatyki, ul. Akademicka 16, 44-100 Gliwice, Polska

autor

Tokarz K.

• Politechnika Śląska, Instytut Informatyki, ul. Akademicka 16, 44-100 Gliwice, Polska

Bibliografia

• 1. Benedettelli D.: Creating Cool MINDSTORMS NXT Robots. Apress, 2008.
• 2. Kelly J. F.: Advanced NXT: The Mayan Adventure. Apress, 2006.
• 3. Perdue D. J.: The Unofficial LEGO Mindstorms NXT Inventor’s Guide. No Starch Press, Syngress, 2007.
• 4. Webb J., Ashley J.: Beginning Kinect Programming with the Microsoft Kinect SDK. Apress 2012.
• 5. Cisek J.: Tworzenie nowoczesnych aplikacji graficznych. Helion, Gliwice 2012.
• 6. Grzejszczak T., Mikulski M., Szkodny T., Jędrasiak K.: Gesture Based Robot Control. [w:] Proceedings of International conference Computer vision and graphics. ICCVG 2012, Warsaw, Poland, September 24-26, 2012., p. 407÷413, Lecture Notes in Computer Science; vol. 7594 Springer, Berlin 2012.
• 7. The LEGO Group: LEGO Mindstorms official website: http://mindstorms.lego.com, 2012.
• 8. Kinect for Windows website: http://www.microsoft.com/en-us/kinectforwindows/, Microsoft Corporation, 2013.
• 9. Hurbain P., NXT motor characteristics. http://www.philohome.com/nxtmotor/nxtmotor.htm, 2013.
• 10. MacDonald M.: Pro WPF in C# 2010: Windows Presentation Foundation in .NET 4. 3rd edition, Apress, 2010.
• 11. Yosifovich P.: Windows Presentation Foundation 4.5 Cookbook, Packt Publishing, 2012.
• 12. The LEGO Group: Bluetooth Developer Kit. http://mindstorms.lego.com/en-us/support/files/default.aspx, 2013.
• 13. The LEGO Group: NXT Intelligent Brick. http://mindstorms.lego.com/en-us/products/default.aspx#9841, 2013.
• 14. 3Gear: 3Gear gesture PC control. http://www.threegear.com/, 2013.
• 15. Controlling robots using wrist band – MYO. https://developer.thalmic.com/apply/, 2013.
• 16. Stiefelhagen R., Fugen C. et al.: Natural human-robot interaction using speech, head pose and gestures. IEEE/RSJ International Conference on Intelligent Robots and Systems, Sendai, Japan, 2004, p. 2422÷2427, vol. 3, 2004.