Application of mask R-CNN algorithm for apple detection and semantic segmentation

• Autorzy: Jurewicz Maciej , Świderski Bartosz , Kurek Jarosław

Identyfikatory

DOI

10.15199/48.2024.05.55

Warianty tytułu

PL

Zastosowanie algorytmu Mask R-CNN do wykrywania jabłek i segmentacji semantycznej

• Języki publikacji: EN

Abstrakty

EN

This research presents an application of the Mask R-CNN algorithm for apple detection and semantic segmentation, aiming to enhance automation in the agricultural sector. Despite the growing use of deep learning techniques in object detection tasks, their application in agricultural contexts, specifically for fruit detection and semantic segmentation, remains relatively unexplored. This study evaluates the performance of the Mask R-CNN algorithm through a series of numerical experiments, with metrics including mean intersection over union (mIoU), F1 score, accuracy, and a confusion matrix analysis. Our results demonstrated that the Mask R-CNN model was effective in detecting and segmenting apples with a high degree of precision, achieving an mIoU of 0.551, an F1 score of 0.704, and an accuracy of 0.957. However, areas for potential improvement were also identified, such as reducing the model's false negative rate. This study provides insights into the application of deep learning algorithms in the agricultural sector, paving the way for more efficient and automated fruit harvesting systems.

PL

Artykuł ten przedstawia zastosowanie algorytmu Mask R-CNN do wykrywania i semantycznej segmentacji jabłek, mając na celu zwiększenie automatyzacji w sektorze rolniczym. Pomimo rosnącego wykorzystania technik uczenia głębokiego w zadaniach detekcji obiektów, ich stosowanie w kontekstach rolniczych, szczególnie w wykrywaniu i semantycznej segmentacji owoców, pozostaje stosunkowo niezbadane. Niniejsze badanie ocenia wydajność algorytmu Mask R-CNN poprzez serię eksperymentów numerycznych, wykorzystując metryki takie mIoU, wynik F1, dokładność oraz analizę macierzy pomyłek. Nasze wyniki wykazały, że model Mask R-CNN był skuteczny w wykrywaniu i segmentacji jabłek z dużą dokładnością, osiągając mIoU wynoszące 0.551, wynik F1 równy 0.704 oraz dokładność 0.957. Jednakże zidentyfikowano również obszary potencjalnych ulepszeń, takie jak zmniejszenie fałszywie negatywnego wskaźnika modelu. To badanie dostarcza wglądów w zastosowanie algorytmów uczenia głębokiego w sektorze rolniczym, torując drogę do bardziej wydajnych i zautomatyzowanych systemów zbierania owoców.

Słowa kluczowe

EN

apple; object detection; semantic segmentation; MASK R-CNN

PL

jabłka; detekcja obiektów; segmentacja semantyczna; MASK R-CNN

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2024
• Tom: R. 100, nr 5
• Strony: 286--289
• Opis fizyczny: Bibliogr. 20 poz., rys., tab.

Twórcy

autor

Jurewicz Maciej

• Department of Artificial Intelligence, Institute of Information Technology, Warsaw University of Life Sciences

• https://orcid.org/0000-0003-4206-3723

autor

Świderski Bartosz

• Department of Artificial Intelligence, Institute of Information Technology, Warsaw University of Life Sciences

• https://orcid.org/0000-0002-7490-8930

autor

Kurek Jarosław

• Department of Artificial Intelligence, Institute of Information Technology, Warsaw University of Life Sciences

• https://orcid.org/0000-0002-2789-4732

Bibliografia

• [1] He, K., Gkioxari, G., Dollar, P. & Girshick, R. Mask R-CNN. (arXiv,2017)
• [2] Suh, S., Park, Y., Ko, K., Yang, S., Ahn, J., Shin, J. & Kim, S. Weighted Mask R-CNN for improving adjacent boundary segmentation. J. Sens..2021 pp. 1-8 (2021,1)
• [3] He, K., Gkioxari, G., Dollar, P. & Girshick, R. Mask R-CNN. IEEE Trans. Pattern Anal. Mach. Intell.. 42, 386-397 (2020,2)
• [4] Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. (2016)
• [5] Girshick, R. Fast R-CNN. (2015)
• [6] Wang, D. & He, D. Apple detection and instance segmentation in natural environments using an improved Mask Scoring R-CNN Model. Front. Plant Sci.. 13 pp. 1016470 (2022,12)
• [7] Hao, Z., Lin, L., Post, C., Mikhailova, E., Li, M., Chen, Y., Yu, K. & Liu, J. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN). ISPRS J. Photogramm. Remote Sens.. 178 pp. 112-123 (2021,8)
• [8] Yu, Y., Zhang, K., Yang, L. & Zhang, D. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN. Comput. Electron. Agric.. 163, 104846 (2019,8)
• [9] Chu, P., Li, Z., Lammers, K., Lu, R. & Liu, X. Deep learning-based apple detection using a suppression mask R-CNN. Pattern Recognit. Lett.. 147 pp. 206-211 (2021,7)
• [10] Ganesh, P., Volle, K., Burks, T. & Mehta, S. Deep orange: Mask R-CNN based orange detection and segmentation. IFAC PapersOnLine. 52, 70-75 (2019)
• [11] Xu, X., Zhao, M., Shi, P., Ren, R., He, X., Wei, X. & Yang, H. Crack detection and comparison study based on Faster R-CNN and Mask R-CNN. Sensors (Basel). 22, 1215 (2022,2)
• [12] Wang, H., Mou, Q., Yue, Y. & Zhao, H. Research on detection technology of various fruit disease spots based on mask R-CNN. 2020 IEEE International Conference On Mechatronics And Automation (ICMA). (2020,10)
• [13] Iqbal, M., Ali, H., Tran, S. & Iqbal, T. Coconut trees detection and segmentation in aerial imagery using mask region-based convolution neural network. IET Comput. Vis.. 15, 428-439 (2021,9)
• [14] Tian, Y., Yang, G., Wang, Z., Wang, H., Li, E. & Liang, Z. Apple detection during different growth stages in orchards using the improved YOLO-V3 model. Comput. Electron. Agric.. 157 pp. 417-426 (2019,2)
• [15] Bargoti, S. & Underwood, J. Deep Fruit Detection in Orchards. (2017)
• [16] Choi, D., Lee, W., Schueller, J., Ehsani, R., Roka, F. & Diamond performance comparison of RGB, NIR, and depth images in immature citrus detection using deep learning algorithms for yield prediction, 2017 Spokane, Washington July 16 - July 19, 2017. (2017)
• [17] Chen, S., Shivakumar, S., Dcunha, S., Das, J., Okon, E., Qu, C., Taylor, C. & Kumar, V. Counting Apples and Oranges With Deep Learning:A Data-Driven Approach. IEEE Robotics And Automation Letters. 2, 781-788 (2017)
• [18] Sa, I., Ge, Z., Dayoub, F., Upcroft, B., Perez, T. & McCool, C. DeepFruits: A Fruit Detection System Using Deep Neural Networks. Sensors. 16 (2016), https://www.mdpi.com/1424- 8220/16/8/1222
• [19] He, K., Zhang, X., Ren, S. & Sun, J. Identity Mappings in Deep Residual Networks. Computer Vision – ECCV 2016. pp. 630- 645 (2016)
• [20] Lin, T., Dollar, P., Girshick, R., He, K., Hariharan, B. & Belongie, S. Feature Pyramid Networks for Object Detection. (2017)

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).