Automatic recognition of multiple brands in images on mobile devices

• Autorzy: Skoczylas M.

Warianty tytułu

PL

Automatyczne rozpoznawanie wielu marek w obrazach na urządzeniach mobilnych

• Języki publikacji: EN

Abstrakty

EN

Visibility of the product on a shelf is an important task of modern marketing principles. Very often companies have agreements with merchants that particular product will be visible and cover defined percentage of the shelf. This trivial task of counting the amount of products or branding logos that are visible within a certain range, is performed manually by an auditor that checks if the agreement is fulfilled. Up till now there does not exist an easy, mobile mechanism that allows to easily capture, recognise and count defined, multiple objects that are visible in the surroundings of the user. Such scenario however, can be achieved using modern mobile phones and their cameras to capture surroundings, and then use their computing power to perform the recognition and counting. For this purpose, feature detectors (such as SIFT, SURF or BRISK) are utilised to create a database of products box images and extracted keypoints are stored. In a new image keypoints are found using the same feature detector, but to avoid problem of multiple identical keypoints, the image is divided and analysed using a sliding window. Keypoints from a window are extracted and are considered as candidates for keypoints that correspond to training images. When enough points are found then perspective transform is calculated. If detected corners are correctly shaped then product is marked with recognised class. In this paper preliminary results of a mobile framework that allows recognition and counting of visible products in surroundings of the user will be presented.

PL

Widoczność produktu na półce jest ważnym zadaniem nowoczesnych zasad marketingu. Bardzo często firmy mają umowy ze sprzedawcami, że konkretny produkt będzie widoczny na półce w określonym procencie w stosunku do innych widocznych produktów. To banalne zadanie sprawdzenia liczby produktów lub widocznych logo marki, jest wykonywane ręcznie przez biegłego rewidenta, który sprawdza, czy warunki umowy są spełnione. Nie istnieje łatwy, mobilny mechanizm pozwalający w prosty sposób policzyć zdefiniowane produkty, które są widoczne w otoczeniu użytkownika. Taki scenariusz może jednak zostać osiągnięty przy użyciu nowoczesnych telefonów komórkowych. Za pomocą kamery można uchwycić obrazy otoczenia, a następnie wykorzystać moc obliczeniową urządzenia mobilnego do wykrywania produktów na obrazach, by finalnie obliczyć ilość widocznych produktów. W tym celu detektory punktów kluczowych w obrazach (np. algorytmy SIFT, SURF lub BRISK) są wykorzystywane do tworzenia bazy danych obrazów produktów, a wyodrębnione deskryptory punktów kluczowych są przechowywane. W nowym obrazie punkty kluczowe znajdowane są przy użyciu tego samego detektora, ale aby uniknąć problem wykrywania wielu identycznych punktów kluczowych, obraz jest podzielony i analizowany stosując przesuwne okno. Punkty kluczowe znajdujące się wewnątrz okna są wyodrębniane i są rozważane jako kandydaci występujące na obrazach treningowych. Przy wystarczającej ilości potwierdzonych punktów obliczane jest przekształcenie perspektywy i jeśli wykryte rogi są prawidłowo ukształtowane to produkt jest oznaczony jako rozpoznany. W tej pracy zostanie zaprezentowany algorytm, który umożliwia w środowisku mobilnym rozpoznawanie oraz liczenie widocznych produktów w otoczeniu użytkownika.

Słowa kluczowe

EN

keypoints detection; mobile devices; visual shelf monitoring product; cover logo

PL

detekcja punktów kluczowych; urządzenia mobilne; monitoring produktów opakowań; logo rozpoznawanie

• Wydawca: Oficyna Wydawnicza Politechniki Białostockiej
• Czasopismo: Advances in Computer Science Research
• Rocznik: 2013
• Tom: Nr 10
• Strony: 81--97
• Opis fizyczny: Bibliogr. 20 poz., rys., tab., wykr.

Twórcy

autor

Skoczylas M.

• Faculty of Computer Science, Bialystok University of Technology, Białystok, Poland

Bibliografia

• [1] M. Skoczylas,W. Rakowski, R. Cherubini, and S. Gerardi. Unstained viable cell recognition in phase-contrast microscopy. Opto-Electronics Review, 19(3):307–319, 2011.
• [2] D. Ding, J. Yoon, and C. Lee. Traffic sign detection and identification using SURF algorithm and GPGPU. In SoC Design Conference (ISOCC), 2012 International, pages 506–508, 2012.
• [3] J. Pan, W. Chen, and W. Peng. A new moving objects detection method based on improved SURF algorithm. In Control and Decision Conference (CCDC), 2013 25th Chinese, pages 901–906, 2013.
• [4] D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. Int. J. Comput. Vision, 60(2):91–110, November 2004.
• [5] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool. Speeded-Up Robust Features (SURF). Comput. Vis. Image Underst., 110(3):346–359, June 2008.
• [6] S. Leutenegger, M. Chli, and R. Siegwart. BRISK: Binary Robust invariant scalable keypoints. Computer Vision, IEEE International Conference on, 0:2548–2555, 2011.
• [7] H. Li, T. Xu, J. Li, and L. Zhang. Face recognition based on improved surf. 2013 Third International Conference on Intelligent System Design and Engineering Applications (ISDEA), pages 755 – 758, 2013.
• [8] B. Besbes, A. Apatean, A. Rogozan, and A. Bensrhair. Combining surf-based local and global features for road obstacle recognition in far infrared images. 2010 13th International IEEE Conference on Intelligent Transportation Systems (ITSC), pages 1869 – 1874, 2010.
• [9] Z. Zheng, H. Zhang, B. Wang, and Z. Gao. Robust traffic sign recognition and tracking for advanced driver assistance systems. 2012 15th International IEEE Conference on Intelligent Transportation Systems (ITSC), pages 704 – 709, 2012.
• [10] Z. Wang, H. Xiao, W. He, F. Wen, and K. Yuan. Real-time sift-based object recognition system. 2013 IEEE International Conference on Mechatronics and Automation (ICMA), pages 1361 – 1366, 2013.
• [11] S. Yu, S. Zheng, H. Yang, and L. Liang. Vehicle logo recognition based on bagof-words. 2013 10th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), pages 353 – 358, 2013.
• [12] P. Lukashevich, B. Zalesky, and S. Ablameyko. Medical image registration based on surf detector. Pattern Recognit. Image Anal., 21(3):519–521, September 2011.
• [13] E. Oyallon and J. Rabin. An analysis and implementation of the SURF method, and its comparison to SIFT. Image Processing On Line, 2013.
• [14] E. Rosten and T. Drummond. Machine learning for high-speed corner detection. In In European Conference on Computer Vision, pages 430–443, 2006.
• [15] C. Huang and C. Chen. Keypoint matching technique and its applications, 2009.
• [16] J. S. Beis and D. G. Lowe. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces. In Conference on Computer Vision and Pattern Recognition, Puerto Rico, pages 1000 – 1006, 1997.
• [17] G. Bradski. The OpenCV Library. Dr. Dobb’s Journal of Software Tools, 2000.
• [18] M. Fischler and C. Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM, 24(6):381–395, June 1981.
• [19] H. Sergieh, E. Egyed-Zsigmond, M. Doller, D. Coquil, J. Pinon, and H. Kosch. Improving SURF Image Matching Using Supervised Learning. In Signal Image Technology and Internet Based Systems (SITIS), 2012 Eighth International Conference on, pages 230–237, 2012.
• [20] Y. Peng, J. Yong, W. Dong, H. Zhang, and J. Sun. Technical section: A new algorithm for boolean operations on general polygons. Comput. Graph., 29(1):57–70, February 2005.