Performance evaluation for face mask detection based on mult modification of Yolov8 architecture

• Autorzy: Al-Shamdeen Muna Jaffer , Ramo Fawziya Mahmood

Identyfikatory

DOI

10.35784/iapgos.6056

Warianty tytułu

PL

Ocena wydajności wykrywania maski na twarzy na podstawie wielu modyfikacji architektury Yolov8

• Języki publikacji: EN

Abstrakty

EN

This work aims to engineer a robust system capable of real-time detection, accurately discerning individuals who are either adhering to or neglecting face mask mandates, across a diverse range of scenarios encompassing images, videos, and live camera streams. This study improved the architecture of YOLOv8n for face mask detection by building a new two-modification version of YOLOv8n model to improve feature extraction and prediction network for YOLOv8n. In proposed YOLOv8n-v1, the integration of a residual Network backbone into the YOLOv8n architecture by replacing the first two layers of YOLOv8n with ResNet_Stem and ResNet_Block modules to improve the model’s ability for feature extraction and replace Spatial Pyramid Pooling Fast (SPPF) module with Spatial Pyramid Pooling-Cross Stage Partial (SPPCSP) modules which combine SPP and CSP to create a network that is both effective and efficient. The proposed YOLOv8n-v2 is built by integration Ghostconv and ResNet_Downsampling modules into the proposed YOLOv8n-v1 backbone. All models have been tested and evaluated on two datasets. The first one is MJFR dataset, which contains 23,621 images, and collected by the authors of this paper from four distinct datasets, all of which were used for facemask detection purposes. The second one is MSFM object detection dataset has been collected from groups of videos in real life and images based on the curriculum learning technology. The model’s performance is assessed by using the following metrics: mean average precision (mAP50), mAP50-95, recall (R) and precision (P). It has been concluded that both versions of proposed YOLOv8n outperform the original model in terms of accuracy for both datasets. Finally, the system was successfully implemented in one of the medical clinics affiliated with a medical complex, where the results of its application showed high efficiency in various aspects of work, and it effectively contributed to improving the public health and safety.

PL

Praca ta ma na celu opracowanie solidnego systemu zdolnego do wykrywania w czasie rzeczywistym, dokładnie rozróżniającego osoby, które przestrzegają lub zaniedbują wymogi dotyczące noszenia masek na twarzy, w różnych scenariuszach obejmujących obrazy, filmy i streaming z kamer na żywo. Niniejsze badanie ulepszyło architekturę YOLOv8n do wykrywania masek na twarzy poprzez zbudowanie nowej, dwumodyfikacyjnej wersji modelu YOLOv8n w celu poprawy ekstrakcji cech i sieci predykcyjnej dla YOLOv8n. W proponowanej wersji YOLOv8n-v1, integracja szkieletu sieci rezydualnej z architekturą YOLOv8n poprzez zastąpienie pierwszych dwóch warstw YOLOv8n modułami ResNet_Stem i ResNet_Block w celu poprawy zdolności modelu do ekstrakcji cech i zastąpienia modułu Spatial Pyramid Pooling Fast (SPPF) modułami Spatial Pyramid Pooling-Cross Stage Partial (SPPCSP), które łączą SPP i CSP w celu stworzenia sieci, która jest zarówno skuteczna, jak i wydajna. Proponowany YOLOv8n-v2 został zbudowany poprzez integrację modułów Ghostconv i ResNet_Downsampling z proponowanym szkieletem YOLOv8n-v1. Wszystkie modele zostały przetestowane i ocenione na dwóch zestawach danych. Pierwszym z nich jest zbiór danych MJFR, który zawiera 23 621 obrazów i został zebrany przez autorów niniejszego artykułu z czterech różnych zbiorów danych, z których wszystkie zostały wykorzystane do wykrywania masek na twarzy. Drugi to zbiór danych wykrywania obiektów MSFM, który został zebrany z grup filmów wideo w prawdziwym życiu i obrazów opartych na technologii uczenia się programu nauczania. Wydajność modelu została oceniona za pomocą następujących wskaźników: mean average precision (mAP50), mAP50-95, recall (R) and precision (P). Stwierdzono, że obie wersje proponowanego YOLOv8n przewyższają oryginalny model pod względem dokładności dla obu zestawów danych. Wreszcie, system został z powodzeniem wdrożony w jednej z klinik medycznych powiązanych z kompleksem medycznym, gdzie wyniki jego zastosowania wykazały wysoką wydajność w różnych aspektach pracy i skutecznie przyczyniły się do poprawy zdrowia i bezpieczeństwa publicznego.

Słowa kluczowe

EN

YOLOv8; object detection; detection algorithm; residual network

PL

YOLOv8; detekcja obiektów; algorytm detekcji; sieć rezydualna

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 2
• Strony: 89--95
• Opis fizyczny: Bibliogr. 29 poz., fot., tab., wykr.

Twórcy

autor

Al-Shamdeen Muna Jaffer

• University of Mosul, College of Computer Science and Mathematics, Mosul, Iraq

• https://orcid.org/0000-0002-2806-532X

autor

Ramo Fawziya Mahmood

• University of Mosul, College of Computer Science and Mathematics, Mosul, Iraq

• https://orcid.org/0000-0002-7510-0482

Bibliografia

• [1] Ahuja A. S. et al.: Artificial intelligence in ophthalmology: A multidisciplinaryapproach. Integrative Medicine Research 11(4), 2022, 100888.
• [2] Al-Shamdeen M. J., Younis A. N., Younis H. A.: Metaheuristic algorithmfor capital letters images recognition. Computer Science 16(2), 2020, 577–588.
• [3] Bhujel S., Shakya S.: Rice Leaf Diseases Classification Using DiscriminativeFine Tuning and CLR on EfficientNet. Journal of Soft Computing Paradigm4(3), 2022, 172–187.
• [4] Chabi Adjobo E. et al.: Automatic Localization of Five Relevant DermoscopicStructures Based on YOLOv8 for Diagnosis Improvement. Journal of Imaging9(7), 2023, 148.
• [5] Deng J. et al.: Retinaface: Single-stage dense face localisation in the wild. arXivpreprint arXiv: 1905.00641, 2019.
• [6] Diwan T., Anirudh G., Tembhurne J. V.: Object detection using YOLO:Challenges, architectural successors, datasets and applications. multimediaTools and Applications 82(6), 2023, 9243–9275.
• [7] Elharrouss O. et al.: Backbones-review: Feature extraction networks for deeplearning and deep reinforcement learning approaches. arXiv preprint arXiv:2206.08016, 2022.
• [8] Gunawan T.S. et al.: Development of video-based emotion recognition usingdeep learning with Google Colab. TELKOMNIKA (TelecommunicationComputing Electronics and Control) 18(5), 2020, 2463–2471.
• [9] Ju R. Y., Cai W.: Fracture Detection in Pediatric Wrist Trauma X-ray ImagesUsing YOLOv8 Algorithm. arXiv preprint arXiv: 2304.05071, 2023.
• [10] Kelleher J. D.: Deep learning. MIT Press, 2019.
• [11] Kumar A., Kalia A., Kalia A.: ETL-YOLO v4: A face mask detection algorithmin era of COVID-19 pandemic. Optik, 259, 2022, 169051.
• [12] Loey M. et al.: A hybrid deep transfer learning model with machine learningmethods for face mask detection in the era of the COVID-19 pandemic.Measurement 167, 2021, 108288.
• [13] Lou H. et al.: DC-YOLOv8: Small-Size Object Detection Algorithm Basedon Camera Sensor. Electronics 12(10), 2023, 2323.
• [14] Mbunge E. et al.: Application of deep learning and machine learning modelsto detect COVID-19 face masks-A review. Sustainable Operationsand Computers 2, 2021, 235–245.
• [15] Mohammed Ali F. A., Al-Tamimi M. S.: Face mask detection methodsand techniques: A review. International Journal of Nonlinear Analysisand Applications 13(1), 2022, 3811–3823.
• [16] Nowrin A. et al.: Comprehensive review on facemask detection techniquesin the context of covid-19. IEEE access 9, 2021, 106839–106864.
• [17] Padilla R., Netto S. L., Da Silva E. A.: A survey on performance metricsfor object-detection algorithms. in 2020 international conference on systems,signals and image processing (IWSSIP), IEEE, 2020.
• [18] Phan Q. B., Nguyen T.: A Novel Approach for PV Cell Fault Detection usingYOLOv8 and Particle Swarm Optimization, 2023.
• [19] Rajeshwari P. et al.: Object detection: an overview. Int. J. Trend Sci. Res. Dev.(IJTSRD) 3(1), 2019, 1663–1665.
• [20] Reis D. et al.: Real-Time Flying Object Detection with YOLOv8. arXiv preprintarXiv: 2305.09972, 2023.
• [21] Solawetz J.: What is YOLOv8? The Ultimate Guide, 2023,[https://blog.roboflow.com/whats-new-in-yolov8/] (available: 1.01.2024).
• [22] Talaat F. M., ZainEldin H.: An improved fire detection approach basedon YOLO-v8 for smart cities. Neural Computing and Applications, 2023, 1–16.
• [23] Terven J., Cordova-Esparza D.: A comprehensive review of YOLO: FromYOLOv1 and beyond. arXiv 2023. arXiv preprint arXiv: 2304.00501.
• [24] Tian Y. et al.: Role of masks in mitigating viral spread on networks. PhysicalReview E 108(1), 2023, 014306
• [25] Vibhuti et al.: Face mask detection in COVID-19: a strategic review.Multimedia Tools and Applications 81(28), 2022, 40013–40042.
• [26] Vrigkas M. et al.: Facemask: A new image dataset for the automatedidentification of people wearing masks in the wild. Sensors 22(3), 2022, 896.
• [27] Wani M. A. et al.: Advances in deep learning. Springer, 2020.
• [28] Wu W. et al.: Application of local fully Convolutional Neural Networkcombined with YOLO v5 algorithm in small target detection of remote sensingimage. PloS one 16(10), 2021, e0259283.
• [29] Yunus E.: YOLO V7 and Computer Vision-Based Mask-Wearing WarningSystem for Congested Public Areas. Journal of the Institute of Scienceand Technology 13(1), 2023, 22–32.