Research on stacked ore detection based on improved Mask RCNN under complex background

• Autorzy: Zhou Hehui , Cai Gaipin , Liu Shun

Identyfikatory

DOI

10.24425/gsm.2023.144630

Warianty tytułu

PL

Badania nad wykrywaniem usypanej (stos) rudy w oparciu o ulepszoną maskę RCNN w złożonym tle

• Języki publikacji: EN

Abstrakty

EN

In order to achieve accurate identification and segmentation of ore under complex working conditions, machine vision and neural network technology are used to carry out intelligent detection research on ore, an improved Mask RCNN instance segmentation algorithm is proposed. Aiming at the problem of misidentification of stacked ores caused by the loss of deep feature details during the feature extraction process of ore images, an improved Multipath Feature Pyramid Network (MFPN) was proposed. The network firstly adds a single bottom-up feature fusion path, and then adds with the top-down feature fusion path of the original algorithm, which can enrich the deep feature details and strengthen the fusion of the network to the feature layer, and improve the accuracy of the network to the ore recognition. The experimental results show that the algorithm proposed in this paper has a recognition accuracy of 96.5% for ore under complex working conditions, and the recall rate and recall rate function values reach 97.4% and 97.0% respectively, and the AP75 value is 6.84% higher than the original algorithm. The detection results of the ore in the actual scene show that the mask size segmented by the network is close to the actual size of the ore, indicating that the improved network model proposed in this paper has achieved a good performance in the detection of ore under different illumination, pose and background. Therefore, the method proposed in this paper has a good application prospect for stacked ore identification under complex working conditions.

PL

Aby uzyskać dokładną identyfikację i segmentację rudy w złożonych warunkach pracy, do prowadzenia inteligentnych badań wykrywania rudy wykorzystywane są technologie wizji maszynowej i sieci neuronowych, zaproponowano udoskonalony algorytm segmentacji obrazu Mask RCNN (Region Convolutional Neural Networks). Mając na celu rozwiązanie problemu błędnej identyfikacji ułożonych rud, spowodowanego utratą głębokich szczegółów cech podczas procesu ekstrakcji cech z obrazów rudy, zaproponowano ulepszoną sieć wielościeżkową piramidy cech MFPN (Multipath Feature Pyramid Network). Sieć najpierw dodaje pojedynczą ścieżkę łączenia funkcji od dołu do góry, a następnie dodaje ścieżkę łączenia funkcji od góry do dołu oryginalnego algorytmu, co może wzbogacić głębokie szczegóły funkcji i wzmocnić połączenie sieci z warstwą funkcji (obiektową) i poprawić dokładność sieci do rozpoznawania rudy. Wyniki eksperymentalne pokazują, że algorytm zaproponowany w niniejszej pracy ma dokładność rozpoznawania na poziomie 96,5% dla rudy w złożonych warunkach pracy, a wartości współczynnika czułości i współczynnika czułości funkcji osiągają odpowiednio 97,4 i 97,0%, a wartość AP75 jest wyższa o 6,84% niż oryginalny algorytm. Wyniki wykrywania rudy w rzeczywistej scenie pokazują, że rozmiar maski podzielonej na segmenty przez sieć jest zbliżony do rzeczywistego rozmiaru rudy, co wskazuje, że ulepszony model sieci zaproponowany w tym artykule osiągnął dobrą efektywność w wykrywaniu rudy przy różnym oświetleniu, ułożeniu i tle. Dlatego zaproponowana w pracy metoda ma dobre perspektywy aplikacyjne do identyfikacji usypanych rud w złożonych warunkach pracy.

Słowa kluczowe

EN

feature fusion; Mask RCNN; feature pyramid; ore detection

PL

połączenie funkcji; maska RCNN; piramida funkcji; wykrywanie rudy

• Wydawca: Instytut Gospodarki Surowcami Mineralnymi i Energią PAN ; Komitet Zrównoważonej Gospodarki Surowcami Mineralnymi PAN
• Czasopismo: Gospodarka Surowcami Mineralnymi
• Rocznik: 2023
• Tom: T. 39, z. 1
• Strony: 131--148
• Opis fizyczny: Bibliogr. 20 poz., rys., tab., wykr.

Twórcy

autor

Zhou Hehui

• School of Mechanical and Electrical Engineering, Jiangxi University of Science and Technology, China

• https://orcid.org/0000-0001-5532-0528

autor

Cai Gaipin

• School of Mechanical and Electrical Engineering, Jiangxi University of Science and Technology
• Jiangxi Province Engineering Research Center for Mechanical and Electrical of Mining and Metallurgy, China

autor

Liu Shun

• School of Mechanical and Electrical Engineering, Jiangxi University of Science and Technology, China

Bibliografia

• [1] Deng et al. 2022 – Deng, J.L., Dong, L.H., Song, W., Zhao, X.B., Liu, T.M. and Pang, Y.T. 2022. Processing of Seabed Polymetallic Nodule Images Based on Sea-thru and Mask R-CNN. Mining and Metallurgy Engineering, pp. 9-13 (in Chinese).
• [2] Dong et al. 2022 – Dong, W.X., Ling, H.T., Liu, G.D., Hu, Q. and Yu, X. 2022. Review of Deep Convolution Applied to Object Detection Algorithms. Computer Science and Exploration, pp. 1025-1042 (in Chinese).
• [3] Fan et al. 2020 – Fan, L.L., Zhao, H.W., Zhao, H.Y., Hu, H.S. and Wang, Z.A. 2020. Review of Object Detection Based on Deep Convolutional Neural Networks. Optical Precision Engineering, pp. 1152-1164 (in Chinese).
• [4] Girshick et al. 2014 – Girshick, R., Donahue, J., Darrell, T. and Malik, J. 2014. Rich feature hierarchies for accurate object detection and semantic segmentation. IEEE conference on computer vision and pattern recognition, pp. 580-587.
• [5] Girshick, R. 2015. Fast r-cnn. IEEE international conference on computer vision, pp. 1440-1448.
• [6] He et al. 2016 – He, K., Zhang, X., Ren, S. and Sun, J. 2016. Deep residual learning for image recognition. IEEE conference on computer vision and pattern recognition, pp. 770-778.
• [7] He et al. 2017 – He, K., Gkioxari, G., Dollár, P. and Girshick, R. 2017. Mask r-cnn. IEEE international conference on computer vision, pp. 2961-2969.
• [8] Huang et al. 2021 – Huang, X.H., Lu, Y., Zhang, R.D. and Dong, S.Q. 2021. Shear crack detection in thermal infrared images of rock based on improved Faster RCNN. Metal Mine, pp. 1-10 (in Chinese).
• [9] Lampinen et al. 2021 – Lampinen, S., Niu, L., Hulttinen, L., Niemi, J. and Mattila, J. 2021. Autonomous robotic rock breaking using a real‐time 3D visual perception system. Journal of Field Robotics 38(7), pp. 980-1006.
• [10] LeCun et al. 2015 – LeCun, Y., Bengio, Y. and Hinton G. 2015. Deep learning. Nature 521(7553), pp. 436-444.
• [11] Liu et al. 2016 – Liu, W., Anguelov, D., Szegedy, C., Reed, S., Fu, C.Y. and Berg, A.C. 2016. SSD: single shot multibox detector. European conference on computer vision, pp. 21-37.
• [12] Liu et al. 2020 – Liu, X., Wang, H., Jing, H., Shao, A. and Wang, L. 2020. Research on intelligent identification of rock types based on faster R-CNN method. Ieee Access 8, pp. 21804-21812.
• [13] Liu et al. 2021 – Liu, F.Y., Liu, Y.H., Yang, T.H., Xin, J.C., Zhang, P.H., Dong, X. and Zhang, H.T. 2021. Meticulous evaluation of rock mass quality in mine engineering based on machine learning of core photos. Chinese Journal of Geotechnical Engineering, pp. 968-974.
• [14] Nie et al. 2020 – Nie, Z.G., Ren, J. and Lu, J.H. 2020. Mask RCNN for detection of ship flow under the background of atomization. Journal of Beijing Institute of Technology, pp. 1223-1229 (in Chinese).
• [15] Redmon et al. 2016 – Redmon, J., Divvala, S., Girshick, R. and Farhadi, A. 2016. You only look once: Unified, real-time object detection. [In:] Las Vegas et al. eds. IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, USA, New York: IEEE, pp. 779-788.
• [16] Redmon, J. and Farhadi, A. 2017. YOLO9000: better, faster, stronger. IEEE Conference on Computer Vision and Pattern Recognition, pp. 7263-7271.
• [17] Redmon, J. and Farhadi, A. 2018. YOLOv3: an incremental improvement. arXiv preprint arXiv:1804.02767.
• [18] Ren et al. 2015 – Ren, S., He, K., Girshick, R. and Sun, J. 2015. Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in neural information processing systems 28.
• [19] Zhang et al. 2019 – Zhang, S., Gong, Y.H. and Wang, J.J. 2019. Development of Deep Convolutional Neural Networks and Its Application in Computer Vision. Journal of Computer Science 42(03), pp. 453-482 (in Chinese).
• [20] Zhang et al. 2022 – Zhang, J., Nong, C.R. and Yang, Z.Y. 2022. Review of Target Detection Algorithms Based on Convolutional Neural Networks. Chinese Academy of Weapons and Equipment Engineering, pp. 37-47 (in Chinese).

Uwagi

PL

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023)