Text spotting in the wild with embedded device

• Autorzy: Zacniewski Artur , Bodnar Tadeusz

Identyfikatory

DOI

10.2478/sjpna-2019-0014

Warianty tytułu

PL

Detekcja i rozpoznanie tekstu w warunkach naturalnych za pomocą urządzenia przenośnego

• Języki publikacji: EN

Abstrakty

EN

Detecting and recognizing text in natural scenes (e.g. streets, restaurants, shops, etc.) could be a part of an artificial intelligence system, especially with regard to the speech synthesis system. Properly detected text is passed to a recognition stage and then to the speech synthesis system, which translates text to speech. Research is carried out for the ‘Toucan Eye’ project—embedded device with artificial intelligence system able to help people with impaired sight. Due to constrained resources and abilities of embedded devices, criteria for text spotting must be met. First criterion is quality of detected and recognized regions with text and the second is time spent on both operations. Particular stages of the system and chosen methods of text spotting under aforementioned constraints are presented.

PL

Autorzy artykułu w ramach projektu naukowo-badawczego przeprowadzili badania z użyciem przenośnego urządzenia z systemem sztucznej inteligencji Toucan Eye, które może pomóc osobom z wadami wzroku. Prawidłowo wykryty tekst przekazywany jest do etapu jego rozpoznawania, a następnie do systemu syntezy mowy. W artykule zostały pokazane poszczególne etapy pracy systemu Toucan Eye oraz opisane wybrane metody, których celem jest wykonanie zadania detekcji i rozpoznania tekstu w warunkach naturalnych.

Słowa kluczowe

EN

text spotting; assisting persons with impaired sight; Toucan Eye

PL

wykrywanie tekstu w warunkach naturalnych; wspomaganie osób z wadami wzroku; Toucan Eye

• Wydawca: Akademia Marynarki Wojennej im. Bohaterów Westerplatte
• Czasopismo: Scientific Journal of Polish Naval Academy
• Rocznik: 2019
• Tom: R. 60 nr 2 (217)
• Strony: 81--95
• Opis fizyczny: Bibliogr. 13 poz., rys., tab.

Twórcy

autor

Zacniewski Artur

• Polish Naval Academy, Institute of Naval Weapon and Computer Science, Śmidowicza 69 Str., 81-127 Gdynia, Poland

autor

Bodnar Tadeusz

• Polish Naval Academy, Institute of Naval Weapon and Computer Science, Śmidowicza 69 Str., 81-127 Gdynia, Poland

Bibliografia

• [1] Busta M., Matas J., Neumann L., Deep TextSpotter: An End-to-End Trainable Scene Text Localiza-tion and Recognition Framework, IEEE, International Conference on Computer Vision, 22–29 October, Venice, Italy, 2017, pp. 2223–2231.
• [2] Busta M., Matas J., Neumann L., FASText: Efficient Unconstrained Scene Text Detector, IEEE, International Conference on Computer Vision, 13–16 December, Santiago, Chile, 2015, pp. 1206–1214.
• [3] Cho H., Sung M., Jun B., Canny Text Detector: Fast and Robust Scene Text Localization Algorithm, IEEE, Conference on Computer Vision and Pattern Recognition, 26 June – 1 July, Las Vegas, USA, 2016, pp. 3566–3573.
• [4] Jaderberg M., Deep Learning for Text Spotting, PhD thesis, Visual Geometry Group, University of Oxford, UK, 2015.
• [5] Neumann L., Matas, J., Efficient Scene text localization and recognition with local character refinement, International Conference on Document Analysis and Recognition, 23–26 August, Nancy, France, 2015, pp. 746–750.
• [6] Powers D., Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation, ‘Journal of Machine Learning Technologies’, 2011, Vol. 2, Issue 1, pp. 37–63.
• [7] Ye Q., Doermann D., Text Detection and Recognition in Imagery: A Survey, IEEE, ‘Transactions on Pattern Analysis and Machine Intelligence’, 2015, Vol. 37, Issue 7, pp. 1480–1500, DOI: 10.1109/TPAMI.2014.2366765.
• [8] Yin X., Zuo Z., Tian S., Text Detection, Tracking and Recognition in Video: A Comprehensive Survey, IEEE, ‘Transaction on Image Processinges’, 2016, Vol. 25, Issue 6, pp. 2752–2773, DOI: 10.1109/TIP.2016.2554321.
• [9] Jetson TX products, [online], NVIDIA, https://www.NVIDIA.pl/autonomous-machines/embedded- systems-dev-kits-modules/ [access 27.07.2018].
• [10] Machine Vision Group at University in Oulu, University in Oulu, [online], http://www.cse.oulu.fi/ wsgi/CMV/Research/LBP [access 27.07.2018].
• [11] TensorFlow framework, TensorFlow, [online], https://www.tensorflow.org/ [access 27.07.2018].
• [12] Tesseract engine, Github, [online], https://github.com/tesseract-ocr/tesseract [access 27.07.2018].
• [13] Toucan Eye system, Tucan systems, [online], https://toucan-systems.pl/toucaneye/ [access 27.07.2018].

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).