Optimizing ultrasound image classification through transfer learning: fine-tuning strategies and classifier impact on pre-trained inner-layers

• Autorzy: Bal-Ghaoui Mohamed , Alaoui Hachem El Yousfi , Jilbab Abdelilah , Bourouhou Abdennaser

Identyfikatory

DOI

10.35784/iapgos.4464

Warianty tytułu

PL

Optymalizacja klasyfikacji obrazów ultrasonograficznych techniką transfer learning: strategie dostrajania i wpływ klasyfikatora na wstępnie wytrenowane warstwy wewnętrzne

• Języki publikacji: EN

Abstrakty

EN

Transfer Learning (TL) is a popular deep learning technique used in medical image analysis, especially when data is limited. It leverages pre-trained knowledge from State-Of-The-Art (SOTA) models and applies it to specific applications through Fine-Tuning (FT). However, fine-tuning large models can be time-consuming, and determining which layers to use can be challenging. This study explores different fine-tuning strategies for five SOTA models (VGG16, VGG19, ResNet50, ResNet101, and InceptionV3) pre-trained on ImageNet. It also investigates the impact of the classifier by usinga linear SVM for classification. The experiments are performed on four open-access ultrasound datasets related to breast cancer, thyroid nodules cancer, and salivary glands cancer. Results are evaluated using a five-fold stratified cross-validation technique, and metrics like accuracy, precision, and recall are computed. The findings show that fine-tuning 15% of the last layers in ResNet50 and InceptionV3 achieves good results. Using SVM for classification further improves overall performance by 6% for the two best-performing models. This research provides insights into fine-tuning strategiesandthe importance of the classifier in transfer learning for ultrasound image classification.

PL

Transfer Learning (TL) to popularna technika głębokiego uczenia stosowana w analizie obrazów medycznych, zwłaszcza gdy ilość danych jestograniczona. Wykorzystuje ona wstępnie wyszkoloną wiedzę z modeli State-Of-The-Art (SOTA) i zastosowanie ich do konkretnych aplikacji poprzez dostrajanie (Fine-Tuning –FT). Jednak dostrajanie dużych modeli może być czasochłonne, a określenie, których warstw użyć, może stanowić wyzwanie.W niniejszym badaniu przeanalizowano różne strategie dostrajania dla pięciu modeli SOTA (VGG16, VGG19, ResNet50, ResNet101 i InceptionV3) wstępnie wytrenowanych na ImageNet. Zbadano również wpływ klasyfikatora przy użyciu liniowej SVM do klasyfikacji. Eksperymenty przeprowadzonona czterech ogólnodostępnych zbiorach danych ultrasonograficznych związanych z rakiem piersi, rakiem guzków tarczycy i rakiemgruczołów ślinowych. Wyniki są oceniane przy użyciu techniki pięciowarstwowej walidacji krzyżowej, a wskaźniki takie jak dokładność, precyzja i odzyskiwanie są obliczane. Wyniki pokazują, że dostrojenie 15% ostatnich warstw w ResNet50 i InceptionV3 osiąga dobre wyniki. Użycie SVM do klasyfikacjidodatkowo poprawia ogólną wydajność o 6% dla dwóch najlepszych modeli. Badania te zapewniają informacje na temat strategii dostrajania i znaczenia klasyfikatoraw uczeniu transferowym dla klasyfikacji obrazów ultrasonograficznych.

Słowa kluczowe

EN

CNN; transfer learning; fine-tuning; SVM; ultrasound images; cancer classification

PL

CNN; transfer learning; dostrajanie; SVM; obraz ultrasonograficzny; klasyfikacja nowotworów

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2023
• Tom: T. 13, nr 4
• Strony: 27--33
• Opis fizyczny: Bibliogr. 21 poz., rys., tab., wykr.

Twórcy

autor

Bal-Ghaoui Mohamed

• Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department,E2SN Research Laboratory,Rabat, Morocco

• https://orcid.org/0000-0002-2143-6458

autor

Alaoui Hachem El Yousfi

• Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department,E2SN Research Laboratory,Rabat, Morocco

• https://orcid.org/0000-0003-4285-0540

autor

Jilbab Abdelilah

• Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department,E2SN Research Laboratory,Rabat, Morocco

• https://orcid.org/0000-0002-1577-9040

autor

Bourouhou Abdennaser

• Mohammed V University in Rabat, National High School of Arts and Crafts, Electrical Engineering Department,E2SN Research Laboratory,Rabat, Morocco

• https://orcid.org/0000-0002-6150-5374

Bibliografia

• [1] Agarap A. F.: An architecture combining convolutional neural network (cnn) and support vector machine (svm) for image classification. arXiv preprint: 1712.03541, 2017.
• [2] Al-Dhabyani W. et al.: Dataset of breast ultrasound images. Data Brief. 28, 2019, 104863.
• [3] Bal-Ghaoui M. et al.: U-net transfer learning backbones for lesions segmentation in breast ultrasound images. International Journal
• of Electrical and Computer Engineering (IJECE) 13, 2023, 5747, [http://doi.org/10.11591/ijece.v13i5.pp5747-5754].
• [4] Cortes C., Vapnik V.: Support-vector networks. Machine learning 20, 1995, 273–297.
• [5] Kim H. E. et al.: Transfer learning for medical image classification: A literature review. BMC medical imaging 22(1), 2022, 69.
• [6] Kora P. et al.: Transfer learning techniques for medical image analysis: A review. Biocybernetics and Biomedical Engineering 42(1), 2022, 79–107.
• [7] LeCun Y. et al.: Handwritten digit recognition with a back-propagation network. Advances in neural information processing systems 2, 1989.
• [8] Mukhlif A. A. et al.: An extensive review of state-of-the-art transfer learning techniques used in medical imaging: Open issues and challenges. Journal of Intelligent Systems 31(1), 2022, 1085–1111.
• [9] Nanni L., Ghidoni S., Brahnam S.: Deep features for training support vector machines. Journal of Imaging 7(9), 2021, 177.
• [10] Pedraza L. et al.: An open access thyroid ultrasound image database. 10th International symposium on medical information processing and analysis 9287, 2015, 188–193.
• [11] Rodrigues P. S.: Breast ultrasound image. Mendeley Data 1(10), 2017, 17632.
• [12] Ronneberger O., Fischer P., Brox T.: U-net: Convolutional networks for biomedical image segmentation. 18 International Conference Medical Image Computing and Computer-Assisted Intervention – MICCAI, Munich, 2015, 234–241.
• [13] Salivary Glands Ultrasound Cases. Website [https://www.ultrasoundcases.info/cases/head-and-neck/salivary-glands/] (accessed: April 15, 2023).
• [14] Samee N. A. et al.: Deep learning cascaded feature selection framework for breast cancer classification: Hybrid cnn with univariate-based approach. Mathematics 10(19), 2022, 3631.
• [15] Shung K. K.: Diagnostic ultrasound: Past, present, and future. Journal of Medical and Biological Engineering 31(6), 2011, 371–374.
• [16] Srivastava R., Kumar P.: A cnn-svm hybrid model for the classification of thyroid nodules in medical ultrasound images. International Journal of Grid and Utility Computing 13(6), 2022, 624–639.
• [17] Tang Y.: Deep learning using linear support vector machines. arXiv, preprint: 1306.0239, 2013.
• [18] Wang Y. et al.: A hybrid classification method of medical image based on deep learning. Research Square, preprint, 2021.
• [19] Wang Y. et al.: The diagnostic value of ultrasound-based deep learning in differentiating parotid gland tumors. Journal of Oncology, 2022.
• [20] Xia X. et al.: Deep learning for differentiating benign from malignant parotid lesions on mri images. Frontiers in Oncology 11, 2021, 632104.
• [21] Yu X. et al.: Transfer learning for medical images analyses: A survey. Neurocomputing 489, 2022, 230–254.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).