Wyniki wyszukiwania - BazTech

1

Poprawa testów oprogramowania stacji bazowych 5G dzięki analizie opartej na dużych modelach językowych LLM (Large Language Models)

Zarębski Sebastian, Rusek Krzysztof, Chołda Piotr

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

|

2024

|

nr 4

57--60

PL

Duże modele językowe (LLM) umożliwiły osiąganie niespodziewanie dobrych rezultatów w generowaniu, tłumaczeniu i rozumieniu tekstu. Modele te mogą generować tekst w oparciu o ich dostosowanie do struktur ludzkiego języka i wymagania bądź żądania użytkownika. W niniejszym artykule we współpracy z firmą NOKIA zbadano wpływ specjalistycznych treści z dziedziny telekomunikacyji na model Gemma-2B. Wyniki wskazują na celowość zastosowania podejścia z oszacowaniem perpleksji w treściach o unikalnej i charakterystycznej zawartości, interesującej z punktu widzenia zastosowań telekomunikacyjnych (np. dokumentacja 3GPP). Wyniki pokazują, że odpowiednie dostrojenie modelu może zmniejszyć jego perpleksję średnio o 83% (w zależności od tematu).

EN

Large language models (LLMs) have transformed natural language processing, enabling remarkable achievements in text generation, translation, and comprehension. LLMs can generate text based on their intrinsic understanding of structures in human language and the user’s request. This paper, reporting results obtained in collaboration with NOKIA, examines the impact of specialized telecom content on the Gemma-2B model. The findings indicate a novel approach to using perplexity assessment in the specialized field of telecommunications (3GPP-related content). It was shown that proper finetuning can reduce the model’s perplexity by an average of 83%, depending on the topic.

2

An unsupervised machine learning approach for regression testing queue optimisation in 5G base stations

Zarębski Sebastian, Jokiej Marcin, Szczukiewicz Marcin, Rusek Krzysztof, Chołda Piotr

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

|

2023

|

nr 4

208--211

EN

In organization with applied agile software development, where software life cycles are very short (i.e. two weeks), changes to the software are very frequent. Usually resources are scarce – power is expensive, test lines are constantly occupied, and hardware parts must be booked only for regression testing. In this perspective, regression testing might introduce a lot of unnecessary overhead. By comparing statistical methods and related to unsupervised machine learning methods, we discovered that due to a uniform nature of code changes, one can easily achieve 90% of bug prediction accuracy while reducing the original testing queue by 25%.

PL

W organizacji działającej w oparciu o zwinne podejście do rozwoju oprogramowania, gdzie cykle życia oprogramowania są bardzo krótkie (np. dwa tygodnie), zmiany w oprogramowaniu są bardzo częste. Zazwyczaj zasoby są ograniczone — prąd jest drogi, linie testowe są stale zajęte, a części sprzętu muszą być zarezerwowane tylko do testów regresyjnych. W tej perspektywie testy regresyjne mogą wprowadzić wiele niepotrzebnych kosztów całkowitych. Porównując metody statystyczne oraz nienadzorowanego uczenia maszynowego odkryliśmy, że dzięki jednolitej naturze zmian w kodzie, można łatwo osiągnąć 90% dokładności przewidywania błędów przy jednoczesnym zmniejszeniu pierwotnej kolejki testów o 25%.

3

Siamese neural networks on the trail of similarity in bugs in 5G mobile network base stations

Zarębski Sebastian, Kuzmich Aliaksandr, Sitko Sebastian, Rusek Krzysztof, Chołda Piotr

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

|

2022

|

nr 4

198--201

EN

To improve the R&D process, by reducing duplicated bug tickets, we used an idea of composing BERT encoder as Siamese network to create a system for finding similar existing tickets. We proposed several different methods of generating artificial ticket pairs, to augment the training set. Two phases of training were conducted. The first showed that only and approximate 9% pairs were correctly identified as certainly similar. Only 48% of the test samples are found to be pairs of similar tickets. With the fine-tuning we improved that result up to 81%, proving the concept to be viable for further improvements.