Virtual hand modeling for gesture recognition

• Autorzy: Koszowski G. , Kawulok M.

Warianty tytułu

PL

Modelowanie ludzkiej dłoni na potrzeby rozpoznawania gestów

• Języki publikacji: EN

Abstrakty

EN

In this paper we present a virtual hand tool for generating a database of artificial hand images for gesture recognition purposes. Our solution is based on 3D hand model with 23 degrees of freedom and skeleton animation. For every real hand image, the most similar artificial image is retrieved from the database, which allows hand pose be estimated. The initial results presented in the paper are encouraging and justify the further development of this method.

PL

Celem prac przedstawionych w niniejszym artykule było opracowanie trójwymiarowego modelu ludzkiej dłoni na potrzeby rozpoznawania gestów. Model ten, posiadający 23 stopnie swobody i oparty na animacji szkieletowej, umożliwia generację bazy danych obrazów, pozwalającej na estymację parametrów ułożenia dłoni dla zadanego rzeczywistego obrazu. Uzyskane wyniki wstępne są satysfakcjonujące i wskazują na możliwość wykorzystania stworzonego modelu do rzeczywistych zastosowań.

Słowa kluczowe

EN

gesture recognition; hand pose estimation; 3D modelling

PL

rozpoznawanie gestów; estymacja ułożenia dłoni; grafika trójwymiarowa

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2012
• Tom: Vol. 33, nr 2B
• Strony: 25--36
• Opis fizyczny: Bibliogr. 19 poz.

Twórcy

autor

Koszowski G.

autor

Kawulok M.

• Politechnika Śląska, Instytut Informatyki,

Bibliografia

• 1. Stenger B.: Template-Based Hand Pose Recognition Using Multiple Cues. Narayanan P.J. et al. (eds.): ACCV 2006, LNCS, Vol. 3852, Springer-Verlag Berlin Heidelberg 2006, p. 551÷560.
• 2. Erol S., Bebis G., Nicolescu M., Boyle R. D., Twombly X.: Vision-based hand pose estimation: A review. Computer Vision and Image Understanding, Vol. 108, 2007, p. 52÷73.
• 3. Chaudhary A., Raheja J. L., Das K., Raheja S.: Intelligent Approaches to interact with Machines using Hand Gesture Recognition in Natural way: A Survey. International Journal of Computer Science & Engineering Survey (IJCSES), Vol. 2, No. 1, 2011.
• 4. Causo A., Ueda E., Kurita Y., Matsumoto Y., Ogasawara T.: Model-based Hand Pose Estimation using Multiple Viewpoint Silhouette Images and Unscented Kalman Filter. Proceedings of the 17th IEEE International Symposium on Robot and Human Interactive Communication, Technische Universität München, Munich, Germany 2008.
• 5. Chen J.-Y., Chang Y.-H.: A hand-pose recognition system using a combined classifier of shift distances and Fourier features. The 20th IPPR Conference on Computer Vision, Graphics and Image Processing (CVGIP), 2007.
• 6. Xu J., Wu Y., Katsaggelos S.: Part-based initialization for hand tracking. Proceedings of 2010 IEEE 17th International Conference on Image Processing, Hong Kong 2010.
• 7. Rosales R., Sclaroff S.: Combining Generative and Discriminative Models in a Framework for Articulated Pose Estimation. International Journal of Computer Vision, Vol. 67, 2006.
• 8. Deng L. Y., Lee D.-L., Keh H.-C., Liu Y.-J.: Shape context based matching for hand gesture recognition. IET International Conference on Frontier Computing. Theory, Technologies and Applications (CP568), Taichung, Taiwan 2010, p. 436÷444.
• 9. Choi J., Ko N., Ko D.: Morphological Gesture Recognition Algorithm. Proceeding of IEEE region 10th International Conference on Electrical and Electronic Technology, Coimbra, Portugal 2001, p. 291÷296.
• 10. Stergiopoulou E., Papamarkos N.: Hand gesture recognition using a neural network shape fitting technique. Engineering Applications of Artificial Intelligence, Vol. 22, Issue 8, 2009, p. 1141÷1158.
• 11. Bhuyan M.K., Neog D.R., Kar M.K.: Hand Pose Recognition Using Geometric Features. National Conference on Communications (NCC). Bangalore 2011.
• 12. Chakraborty P., Sarawgi P., Mehrotra A., Agarwal G., Pradhan R.: Hand Gesture Recognition: A Comparative Study. Proceedings of the International MultiConference of Engineers and Computer Scientists, Vol. 1, IMECS, Hong Kong 2008.
• 13. Xu Z., Zhu H.: Vision-based detection of dynamic gesture. International Conference on Test and Measurement, 2009, p. 223÷226.
• 14. Hollister A., Buford W.L., Myers L.M., Giurintano D.J., Novick A.: The axes of rotation of the thumb carpometacarpal joint. Journal of Orthopedic Research, Vol. 10 (3), 1992, p. 454÷460.
• 15. Bradski G.: The OpenCV Library. Dr. Dobb's J. of Software Tools, Vol. 25, No. 11, 2000, p. 120÷126.
• 16. Bernard S.: Ekstrakcja cech obrazu dłoni na potrzeby rozpoznawania gestów. Praca dyplomowa magisterska, Politechnika Śląska, Gliwice 2009.
• 17. Causo A., Matsuo M., Ueda E., Takemura K., Matsumoto Y., Takamatsu J., Ogasawara T.: Hand Pose Estimation using Voxel-based Individualized Hand Model. EEE/ASME International Conference on Advanced Intelligent Mechatronics, Suntec Convention and Exhibition Center, Singapore 2009.
• 18. Causo A., Ueda E., Kurita Y., Matsumoto Y., Ogasawara T.: Model-based Hand Pose Estimation using Multiple Viewpoint Silhouette Images and Unscented Kalman Filter. Proceedings of the 17th IEEE International Symposium on Robot and Human Interactive Communication, Technische Universität München, Munich, Germany 2008.
• 19. Pickering C.A.: The search for a safer driver interface: a review of gesture recognition Human Machine Interface, IEEE Computing and Control Engineering, 2005, p. 34÷40.