System automatycznej detekcji tablic rejestracyjnych i identyfikacji numerów pojazdów wykorzystujący sieci neuronowe

• Autorzy: Błaszczyk Julia , Janowski Robert

Identyfikatory

DOI

10.26348/znwwsi.25.7

Warianty tytułu

EN

A system for the automatic license plate detection and number identification using neural networks

• Języki publikacji: PL

Abstrakty

PL

W publikacji opisano kolejne etapy tworzenia aplikacji do automatycznego rozpoznawania tablic rejestracyjnych i identyfikacji numerów pojazdów z wykorzystaniem sieci neuronowych i podejścia Deep Learning, począwszy od przygotowania danych do trenowania, a skończywszy na testowaniu skuteczności działania. Do implementacji mechanizmu detekcji tablic rejestracyjnych został wykorzystany model sieci EfficientDet, a do optycznego rozpoznawania numerów identyfikacyjnych na wykrytych tablicach biblioteki Pytesseract oraz OpenCV. Weryfikacja skuteczności działania aplikacji dotyczyła oceny poprawności detekcji tablic rejestracyjnych oraz rozpoznania numerów identyfikacyjnych. Podstawowymi kryteriami oceny były powszechnie używane w takich zastosowaniach miary: dokładność, precyzja, czułość. Przeprowadzone testy pozwoliły ustalić optymalne wartości parametrów dla procesu detekcji tablic (wartości hiperparametrów, czyli rozmiar sieci, liczba kroków, liczba epok, wagi, współczynnik uczenia, rozmiar paczki danych podczas trenowania oraz wartość progu podczas weryfikacji działania), a także dla procesu rozpoznawania numerów (zachowanie lub usuwanie pikseli stykających się z granicą wyciętego obrazu, wartości parametrów filtra bilateralnego, operacji progowania).

EN

The paper describes the stages of creating an application for automatic license plate recognition and vehicle number identification using neural networks and the Deep Learning approach, starting from data preparation for training and ending with performance testing. The EfficientDet network model was used to implement the license plate detection mechanism and the Pytesseract and OpenCV libraries for the optical recognition of identification numbers on the detected plates. The verification of the effectiveness of the application concerned the assessment of the correctness of the detection of license plates in vehicles and the recognition of identification numbers. The basic evaluation criteria were the measures commonly used in such applications: accuracy, precision and sensitivity. The conducted tests allowed to determine the optimal parameter values for the license plate detection process (hyperparameter values, i.e. network size, number of steps, number of epochs, weights, learning coefficient, size of the data batch during training and the threshold value during operation verification) as well as for the number recognition process (keeping or removing pixels touching the border of the cut image, values of bilateral filter parameters, thresholding operations).

Słowa kluczowe

PL

sieci neuronowe; komputerowe rozpoznawanie obrazów; detekcja tablic rejestracyjnych; EfficientDet; Pytesseract; ALPR

EN

neural networks; computer vision; license plate recognition; EfficientDet; Pytesseract; ALPR

• Wydawca: Warszawska Wyższa Szkoła Informatyki
• Czasopismo: Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki
• Rocznik: 2021
• Tom: nr 25
• Strony: 7--31
• Opis fizyczny: Bibliogr.21 poz., fot., tab., wykr.

Twórcy

autor

Błaszczyk Julia

• Warszawska Wyższa Szkoła Informatyki

autor

Janowski Robert

• Warszawska Wyższa Szkoła Informatyki

Bibliografia

• [1] S. Albawi, T.A. Mohammed, S. Al-Zawi, Understanding of a convolutional neural network, 2017, 2017 International Conference on Engineering and Technology (ICET), DOI: 10.1109/ICEngTechnol.2017.8308186.
• [2] S.M.Silva, C.R. Jung, License Plate Detection and Recognition in Un-constrained Scenarios. [w:] Computer Vision – ECCV 2018. ECCV 2018. Lecture Notes in Computer Science, Vol. 11216, (Eds.) Ferrari V., Hebert M., Sminchisescu C., Weiss Y. Springer, Cham, 2018.
• [3] J. Redmon, A. Farhadi, YOLO9000: Better, Faster, Stronger , arXiv:1612.08242.
• [4] Amazon Rekognition pricing , https://aws.amazon.com/recognition/ [31.10.2021].
• [5] R. Laroca, L.A. Zanlorensi, G.R. Gonçalves, E. Todt, W.R. Schwartz, D. Menotti, An Efficient and Layout-Independent Automatic License Plate Recognition System Based on the YOLO detector. IET Intelligent Transport Systems 2021, Vol. 15, No. 4, DOI: 10.1049/itr2.12030.
• [6] M.J. Shafiee, B. Chywl, F. Li, A. Wong, Fast YOLO: A Fast You Only Look Once System for Real-time Embedded Object Detection in Video , 2017, arXiv:1709.05943.
• [7] Li, Y., Wan, J., Miao, Q. et al. CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis. International Journal of Computer Vision 2020, Vol. 128. https://doi.org/10.1007/s11263-020-01309-y.
• [8] I. Goodfellow, Y. Bengio, A. Courville, Deep Learning , 2016, MIT Press, Cambridge.
• [9] M. Tan, R. Pang, Q.V. Le, EfficientDet: Scalable and Efficient Object Detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2020), arXiv:1911.09070.
• [10] M. Tan, Q.V. Le, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, International Conference on Machine Learning , 2019, arXiv:1905.11946.
• [11] Strona internetowa ImageNet, https://www.image-net.org/ [31.10.2021].
• [12] Strona internetowa Project Jupyter, https://jupyter.org/ [31.10.2021].
• [13] Strona internetowa TensorBoard, https://www.tensorflow.org/tensorboard/ [31.10.2021].
• [14] A.G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. 2017, CoRR abs/1704.04861.
• [15] Strona internetowa Common Objects in Context, https://cocodataset.org/ [31.10.2021].
• [16] Xuannianz (2020) EfficientDet [kod źródłowy], https://github.com/xuannianz/EfficientDet.
• [17] Project description, 2021, PyPI.org, https://pypi.org/project/pytesseract/ [Data uzyskania dostępu: 31.10.2021].
• [18] R. Smith, An overview of the Tesseract OCR Engine, 2007, ICDAR 2007, 9th International Conference on Document Analysis and Recognition, Curitiba.
• [19] Image processing in Python, scikit-image image processing in python, 2020, https://scikit-image.org/ [31.10.2021].
• [20] Strona internetowa OpenCV, http://opencv.org [31.10.2021].
• [21] M. Hayashida, H.Koyano, Finding Median and Center Strings for a Probability Distribution on a Set of Strings Under Levenshtein Distance Based on Integer Linear Programming. [w:] Biomedical Engineering Systems and Technologies – BIOSTEC 2016, (Eds.) A. Fred, H. Gamboa, 2017, Springer, Cham. https://doi.org/10.1007/978-3-319-54717-6_7.