Poprawa testów oprogramowania stacji bazowych 5G dzięki analizie opartej na dużych modelach językowych LLM (Large Language Models)

• Autorzy: Zarębski Sebastian , Rusek Krzysztof , Chołda Piotr

Identyfikatory

DOI

10.15199/59.2024.4.7

Warianty tytułu

Enhancing software testing of 5G base stations with LLM-driven analysis

• Konferencja: Konferencja Radiokomunikacji i Teleinformatyki (11-13.09.2024 ; Poznań, Polska)
• Języki publikacji: EN

Abstrakty

EN

Large language models (LLMs) have trans- formed natural language processing, enabling remarkable achievements in text generation, translation, and compre- hension. LLMs can generate text based on their intrinsic understanding of structures in human language and the user’s request. This paper, reporting results obtained in collaboration with NOKIA, examines the impact of specialized telecom content on the Gemma-2B model. The findings indicate a novel approach to using perplexity assessment in the specialized field of telecommunications (3GPP-related content). It was shown that proper finetuning can reduce the model’s perplexity by an average of 83%, depending on the topic.

PL

Duże modele językowe (LLM) umożliwiły osiąganie niespodziewanie dobrych rezultatów w generowaniu, tłumaczeniu i rozumieniu tekstu. Modele te mogą generować tekst w oparciu o ich dostosowanie do struktur ludzkiego języka i wymagania bądź żądania użytkownika. W niniejszym artykule we współpracy z firmą NOKIA zbadano wpływ specjalistycznych treści z dziedziny telekomunikacyji na model Gemma-2B. Wyniki wskazują na celowość zastosowania podejścia z oszacowaniem perpleksji w treściach o unikalnej i charakterystycznej zawartości, interesującej z punktu widzenia zastosowań telekomunikacyjnych (np. dokumentacja 3GPP). Wyniki pokazują, że odpowiednie dostrojenie modelu może zmniejszyć jego perpleksję średnio o 83% (w zależności od tematu).

Słowa kluczowe

EN

NLP; neuro-linguistic programming; LLM; large language models; regression testing; software testing

PL

NLP; programowanie neurolingwistyczne; LLM; modele językowe; testowanie oprogramowania; testy regresyjne

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2024
• Tom: nr 4
• Strony: 57--60
• Opis fizyczny: Bibliogr. 9 poz., rys., tab.

Twórcy

autor

Zarębski Sebastian

• Nokia, Kraków
• AGH University of Krakow, Institute of Telecommunications, Krakow

autor

Rusek Krzysztof

• AGH University of Krakow, Institute of Telecommunications, Krakow

autor

Chołda Piotr

• AGH University of Krakow, Institute of Telecommunications, Krakow

Bibliografia

• [1] Zarębski, S.; Kuzmich, A.; Sitko, S.; Rusek, K.; Chołda, P. Siamese Neural Networks on the Trail of Similarity in Bugs in 5G Mobile Network Base Stations. Electronics, 11, 3664, 2022.
• [2] Miaschi, A., Brunato, D., Dell’Orletta, F. & Venturi, G. What Makes My Model Perplexed? A Linguistic Investigation on Neural Language Models Perplexity. Proceedings Of Deep Learning Inside Out (DeeLIO): The 2nd Workshop On Knowledge Extraction And Integration For Deep Learning Architectures. pp. 40-47, 2021.
• [3] https://huggingface.co/google/gemma-2b visited at 27.06.2024
• [4] Thomas Mesnard et al. “Gemma: Open Models Based on Gemini Research and Technology.” arXiv preprint arXiv:2403.08295, 2024.
• [5] Jelinek, Fred, Robert L. Mercer, Lalit R. Bahl, and James K. Baker. “Perplexity: A Measure of the Difficulty of Speech Recognition Tasks.” The Journal of the Acoustical Society of America, 62(S1): S63, 1977.
• [6] Meister, Clara, and Ryan Cotterell. “Language Model Evaluation Beyond Perplexity.” In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 5328–5339. Online: Association for Computational Linguistics, 2021.
• [7] Willard, Brandon T., and Rémi Louf. “Efficient Guided Generation for LLMs.” arXiv preprint arXiv:2307.09702, 2023.
• [8] Hu, Edward J. et al. “LoRA: Low-Rank Adaptation of Large Language Models.” In Proceedings of the International Conference on Learning Representations (ICLR), 2022.
• [9] Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, and Dario Amodei. "Deep reinforcement learning from human preferences". In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS’17), 2017.