An unsupervised machine learning approach for regression testing queue optimisation in 5G base stations

• Autorzy: Zarębski Sebastian , Jokiej Marcin , Szczukiewicz Marcin , Rusek Krzysztof , Chołda Piotr

Identyfikatory

DOI

10.15199/59.2023.4.44

Warianty tytułu

PL

Wykorzystanie metod nienadzorowanego uczenia maszynowego do optymalizacji kolejki testów regresyjnych w stacjach bazowych 5G

• Konferencja: Konferencja Radiokomunikacji i Teleinformatyki (20-22.09.2023 ; Kraków, Polska)
• Języki publikacji: EN

Abstrakty

EN

In organization with applied agile software development, where software life cycles are very short (i.e. two weeks), changes to the software are very frequent. Usually resources are scarce – power is expensive, test lines are constantly occupied, and hardware parts must be booked only for regression testing. In this perspective, regression testing might introduce a lot of unnecessary overhead. By comparing statistical methods and related to unsupervised machine learning methods, we discovered that due to a uniform nature of code changes, one can easily achieve 90% of bug prediction accuracy while reducing the original testing queue by 25%.

PL

W organizacji działającej w oparciu o zwinne podejście do rozwoju oprogramowania, gdzie cykle życia oprogramowania są bardzo krótkie (np. dwa tygodnie), zmiany w oprogramowaniu są bardzo częste. Zazwyczaj zasoby są ograniczone — prąd jest drogi, linie testowe są stale zajęte, a części sprzętu muszą być zarezerwowane tylko do testów regresyjnych. W tej perspektywie testy regresyjne mogą wprowadzić wiele niepotrzebnych kosztów całkowitych. Porównując metody statystyczne oraz nienadzorowanego uczenia maszynowego odkryliśmy, że dzięki jednolitej naturze zmian w kodzie, można łatwo osiągnąć 90% dokładności przewidywania błędów przy jednoczesnym zmniejszeniu pierwotnej kolejki testów o 25%.

Słowa kluczowe

EN

software testing; test cases; continuous integration; regression testing

PL

testowanie oprogramowania; przypadki testowe; integracja ciągła; testy regresyjne

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2023
• Tom: nr 4
• Strony: 208--211
• Opis fizyczny: Bibliogr. 11 poz., rys.

Twórcy

autor

Zarębski Sebastian

• NOKIA, Kraków
• AGH University of Krakow, Kraków

autor

Jokiej Marcin

• NOKIA, Kraków

autor

Szczukiewicz Marcin

• NOKIA, Kraków

autor

Rusek Krzysztof

• AGH University of Krakow, Kraków

autor

Chołda Piotr

• AGH University of Krakow, Kraków

Bibliografia

• [1] Rothermel, G. and Untch, R.H. and Chengyun Chu and Harrold, M.J. 2001. „Prioritizing test cases for regression testing”. IEEE Transactions on Software Engineering, 27 (10): 929-948.
• [2] João F. S. Ouriques, Emanuela G. Cartaxo, Patrícia D. L. Machado, Francisco G. O. Neto, and Ana E. V. B. Coutinho. 2016. „On the Use of Fault Abstractions for Assessing System Test Case Prioritization Techniques”. In Proceedings of the 1st Brazilian Symposium on Systematic and Automated Software Testing (SAST). 7: 1–10.
• [3] Tanzeem Bin Noor and Hadi Hemmati. 2017. „Studying test case failure prediction for test case prioritization”. In Proceedings of the 13th International Conference on Predictive Models and Data Analytics in Software Engineering: 2–11.
• [4] Francis Palma, Tamer Abdou, Ayse Bener, John Maidens, and Stella Liu. 2018. „An improvement to test case failure prediction in the context of test case prioritization”. In Proceedings of the 14th International Conference on Predictive Models and Data Analytics in Software Engineering: 80–89.
• [5] Ajmer Singh, Rajesh Kumar Bhatia, and Anita Singhrova. 2019. „Machine learning based test case prioritization in object oriented testing”. International Journal of Recent Technology and Engineering, 8 (3): 700–707.
• [6] Junjie Chen, Yiling Lou, Lingming Zhang, Jianyi Zhou, Xiaoleng Wang, Dan Hao, and Lu Zhang. 2018. „Optimizing test prioritization via test distribution analysis”. In Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering: 656–667.
• [7] Muhammad Hasnain, Muhammad Fermi Pasha, Chern Hong Lim, and Imran Ghan. 2019. „Recurrent neural network for web services performance forecasting, ranking and regression testing”. In 2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC): 96–105
• [8] Siavash Mirarab and Ladan Tahvildari. 2008. „An empirical study on bayesian network-based approach for test case prioritization”. In 2008 1st International Conference on Software Testing, Verification, and Validation: 278–287.
• [9] Songyu Chen, Zhenyu Chen, Zhihong Zhao, Baowen Xu, and Yang Feng. 2011. „Using semi-supervised clustering to improve regression test selection techniques”. In Fourth IEEE International Conference on Software Testing, Verification and Validation: 1–10.
• [10] Shin Yoo, Mark Harman, Paolo Tonella, and Angelo Susi. 2009. „Clustering test cases to achieve effective and scalable prioritisation incorporating expert knowledge”. In Proceedings of the eighteenth international symposium on Software testing and analysis (ISSTA ’09): 201–212.
• [11] Rafig Almaghairbe and Marc Roper. 2017. „Separating passing and failing test executions by clustering anomalies”. Software Quality Journal, 25 (3): 803–840.

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).