Application of explainable artificial intelligence in software bug classification

• Autorzy: Chmielowski Łukasz , Kucharzak Michał , Burduk Robert

Identyfikatory

DOI

10.35784/iapgos.3396

Warianty tytułu

PL

Zastosowanie wyjaśnialnej sztucznej inteligencji w klasyfikacji usterek oprogramowania

• Języki publikacji: EN

Abstrakty

EN

Fault management is an expensive process and analyzing data manually requires a lot of resources. Modern software bug tracking systems may be armed with automated bug report assignment functionality that facilitates bug classification or bug assignment to proper development group.For supporting decision systems, it would be beneficial to introduce information related to explainability. The purpose of this work is to evaluate the useof explainable artificial intelligence (XAI) in processes related to software development and bug classification based on bug reports created by either software testers or software users. The research was conducted on two different datasets. The first one is related to classification of security vs non-securitybug reports. It comes from a telecommunication company which develops software and hardware solutions for mobile operators. The second dataset contains a list of software bugs taken from an opensource project. In this dataset the task is to classify issues with one of following labels crash, memory, performance, and security. Studies on XAI-related algorithms show that there are no major differences in the results of the algorithms used when comparing them with others. Therefore, not only the users can obtain results with possible explanations or experts can verify model or its part before introducing into production, but also it does not provide degradation of accuracy. Studies showed that it could be put into practice, but it has not been done so far.

PL

Zarządzanie usterkami jest kosztownym procesem, a ręczna analiza danych wymaga znacznych zasobów. Nowoczesne systemy zarządzania usterkami w oprogramowaniu mogą być wyposażone w funkcję automatycznego przypisywania usterek, która ułatwia klasyfikację ustereklub przypisywanie usterek do właściwej grupy programistów. Dla wsparcia systemów decyzyjnych korzystne byłoby wprowadzenie informacji związanychz wytłumaczalnością. Celem tej pracy jest ocena możliwości wykorzystania wyjaśnialnej sztucznej inteligencji (XAI) w procesach związanych z tworzeniem oprogramowania i klasyfikacją usterek na podstawie raportów o usterkach tworzonych przez testerów oprogramowania lub użytkowników oprogramowania. Badania przeprowadzono na dwóch różnych zbiorach danych. Pierwszy z nich związany jest z klasyfikacją raportów o usterkach związanych z bezpieczeństwem i niezwiązanych z bezpieczeństwem. Dane te pochodzą od firmy telekomunikacyjnej, która opracowuje rozwiązania programowe i sprzętowe dla operatorów komórkowych. Drugi zestaw danych zawiera listę usterek oprogramowania pobranych z projektu opensource.W tym zestawie danych zadanie polega na sklasyfikowaniu problemów za pomocą jednej z następujących etykiet: awaria, pamięć, wydajnośći bezpieczeństwo. Badania przeprowadzone przy użyciu algorytmów związanych z XAI pokazują, że nie ma większych różnic w wynikach algorytmów stosowanych przy porównywaniu ich z innymi. Dzięki temu nie tylko użytkownicy mogą uzyskać wyniki z ewentualnymi wyjaśnieniami lub eksperci mogą zweryfikować model lub jego część przed wprowadzeniem do produkcji, ale także nie zapewnia to degradacji dokładności. Badania wykazały, że możnato zastosować w praktyce, ale do tej pory tego nie zrobiono.

Słowa kluczowe

EN

software bug assignment; software bug triaging; explainable artificial intelligence; text analysis; vulnerability

PL

przypisywanie usterek oprogramowania; klasyfikacja usterek oprogramowania; wyjaśnialna sztuczna inteligencja; analiza tekstu; podatności

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2023
• Tom: T. 13, nr 1
• Strony: 14--17
• Opis fizyczny: Bibliogr. 16 poz., tab., wykr.

Twórcy

autor

Chmielowski Łukasz

• Nokia Solutions and Networks sp. z o.o., Warsaw, Poland
• Wroclaw University of Science and Technology, Faculty of Information and Communication Technology, Wroclaw,Poland

• https://orcid.org/0000-0001-6970-8144

autor

Kucharzak Michał

• Nokia Solutions and Networks sp. z o.o., Warsaw, Poland
• Wroclaw University of Science and Technology, Faculty of Information and Communication Technology, Wroclaw,Poland

• https://orcid.org/0000-0001-5068-5229

autor

Burduk Robert

• Wroclaw University of Science and Technology, Faculty of Information and Communication Technology, Wroclaw,Poland

• https://orcid.org/0000-0002-3506-6611

Bibliografia

• [1] Aleithan R.: Explainable Just-In-Time Bug Prediction: Are We There Yet? 43rd International Conference on Software Engineering: Companion Proceedings (ICSE-Companion), 2021, 129–131 [http://doi.org/10.1109/ICSE-Companion52605.2021.00056].
• [2] Anjali, Mohan D., Sardana N.: Visheshagya: Time based expertise model for bug report assignment. Ninth International Conference on Contemporary Computing (IC3), 2016, 1–6 [http://doi.org/10.1109/IC3.2016.7880218].
• [3] Barredo Arrieta A. et al.: Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion 58, 2020, 82–115 [http://doi.org/10.1016/j.inffus.2019.12.012].
• [4] Behl D., Handa S., Arora A.: A bug Mining tool to identify and analyze security bugs using Naive Bayes and TF-IDF. International Conference on Reliability Optimization and Information Technology (ICROIT), 2014, 294–299 [http://doi.org/10.1109/ICROIT.2014.6798341].
• [5] Carlevaro A., Maurizio M.: A New SVDD Approach to Reliable and Explainable AI. IEEE Intelligent Systems 37.2, 2022, 55–68 [http://doi.org/10.1109/ACCESS.2022.3180026].
• [6] Carlevaro A. et al.: Counterfactual Building and Evaluation via eXplainable Support Vector Data Description. IEEE Access 10, 2022 [http://doi.org/10.1109/MIS.2021.3123669].
• [7] Castelluccio M. et al.: bugbug. Available online: https://github.com/mozilla/bugbug (accessed on 02.11.2022).
• [8] Chmielowski L., Kucharzak M.: Impact of Software Bug Report Preprocessing and Vectorization on Bug Assignment Accuracy. Progress in Image Processing, Pattern Recognition and Communication Systems. Edited by Michal Choraś, et al.: Springer International Publishing, Cham 2022, 153–162 [http://doi.org/10.1007/978-3-030-81523-3_15].
• [9] Choquette-Choo C. A. et al.: A Multi-label, Dual-Output Deep Neural Network for Automated Bug Triaging. 18th IEEE International Conference On Machine Learning And Applications (ICMLA), 2019, 937–944 [http://doi.org/10.1109/ICMLA.2019.00161].
• [10] Gujral S., et al.: Classifying bug severity using dictionary based approach. International Conference on Futuristic Trends on Computational Analysis and Knowledge Management (ABLAZE), 2015, 599–602 [http://doi.org/10.1109/ABLAZE.2015.7154933].
• [11] Khanan C. et al.: JITBot: An Explainable Just-In-Time Defect Prediction Bot. 35th IEEE/ACM International Conference on Automated Software Engineering (ASE), 2020, 1336–1339.
• [12] Lamkanfi A., Pérez J., Demeyer S.: The Eclipse and Mozilla defect tracking dataset: A genuine dataset for mining bug information. 10th Working Conference on Mining Software Repositories (MSR), 2013, 203–206 [http://doi.org/10.1109/MSR.2013.6624028].
• [13] Matzka S.: Explainable Artificial Intelligence for Predictive Maintenance Applications. Third International Conference on Artificial Intelligence for Industries (AI4I), 2020, 69–74 [https://doi.org/10.1109/AI4I49448.2020.00023].
• [14] Monperrus M.: Explainable Software Bot Contributions: Case Study of Automated Bug Fixes. IEEE/ACM 1st International Workshop on Bots in Software Engineering (BotSE), 2019, 12–15 [http://doi.org/10.1109/BotSE.2019.00010].
• [15] Raschka S.: 5x2cv paired ttest. Available online: https://rasbt.github.io/mlxtend/user_guide/evaluate/paired_ttest_5x2cv (accessed on 04.01.2021).
• [16] Vilone G. Longo L.: Explainable Artificial Intelligence: a Systematic Review. 2020 [http://doi.org/10.48550/arXiv.2006.00093].

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).