Uncovering insights with kanguage modeling. Analyzing Przeglad Elektrotechniczny with GPT

• Autorzy: Wójcik Dariusz , Majerek Dariusz

Identyfikatory

DOI

10.15199/48.2023.12.69

Warianty tytułu

PL

Odkrywanie spostrzeżeń za pomocą modelowania języka: Analiza przeglądu elektrotechnicznego za pomocą GPT

• Języki publikacji: EN

Abstrakty

EN

Recent advancements in natural language processing (NLP) have led to the development of powerful language models, which have significantly impacted various applications such as text classification, sentiment analysis, and language translation. This paper explores the application of the GPT-2 large language model to analyze the text of articles published in the 2023 edition of the Przegląd Elektrotechniczny journal. The model was fine-tuned on the entire text corpus, and a word analysis was performed to identify the most frequent words and their relationship to the articles. Our method uncovers insights into the most common topics, themes, and ideas discussed in the journal, offering valuable information for the Editorial Board and researchers to better comprehend the state of electrical engineering in 2023.

PL

Ostatnie postępy w przetwarzaniu języka naturalnego (NLP) doprowadziły do opracowania potężnych modeli językowych, które znacząco wpłynęły na różne zastosowania, takie jak klasyfikacja tekstu, analiza nastrojów i tłumaczenie językowe. W niniejszym artykule zbadano zastosowanie dużego modelu językowego GPT-2 do analizy tekstu artykułów opublikowanych w wydaniu czasopisma Przegląd Elektrotechniczny z 2023 roku. Model został dostrojony do całego korpusu tekstowego i przeprowadzono analizę słów w celu zidentyfikowania najczęściej występujących słów i ich związku z artykułami. Nasza metoda odkrywa najczęstsze tematy, motywy i pomysły omawiane w czasopiśmie, oferując cenne informacje dla redakcji i naukowców, aby lepiej zrozumieć stan inżynierii elektrycznej w 2023 roku.

Słowa kluczowe

EN

GPT; language modeling; natural language processing; NLP

PL

GPT; modelowanie języka; przetwarzanie języka naturalnego; NLP

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2023
• Tom: R. 99, nr 12
• Strony: 351--354
• Opis fizyczny: Bibliogr. 16 poz., rys.

Twórcy

autor

Wójcik Dariusz

• Akademia WSEI, Wydział transportu i informatyki, ul. Projektowa 4, 20-209 Lublin
• Netrix S.A., Research & Development Centre, Lublin, Poland

• https://orcid.org/0000-0002-4200-3432

autor

Majerek Dariusz

• Politechnika Lubelska, Wydział Podstaw Techniki, ul. Nadbystrzycka 38, 20-618 Lublin

• https://orcid.org/0000-0002-0035-7187

Bibliografia

• [1] Gnaś, D., Adamkiewicz, P., Indoor localization system using UWB, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No. 1, 15-19.
• [2] Styła, M., Adamkiewicz, P., Optimisation of commercial building management processes using user behaviour analysis systems supported by computational intelligence and RTI, Informatyka, Automatyka, Pomiary W Gospodarce I Ochronie Środowiska, 12 (2022), No 1, 28-35.
• [3] Kropidłowska P., Irzmańska E. Korzeniewska E., Tomczyk M., Jurczyk-Kowalska M., Evaluation of laser texturing in fabricating cut-resistant surfaces for protective gloves, Textile Research Journal, 93 (2023), No. 9-10), 1917– 1927.
• [4] Koulountzios P., Aghajanian S., Rymarczyk T., Koiranen T., Soleimani M., An Ultrasound Tomography Method for Monitoring CO2 Capture Process Involving Stirring and CaCO3 Precipitation, Sensors, 21 (2021), No. 21, 6995.
• [5] Kłosowski G, Rymarczyk T, Niderla K, Kulisz M, Skowron Ł, Soleimani M., Using an LSTM network to monitor industrial reactors using electrical capacitance and impedance tomography – a hybrid approach. Eksploatacja i Niezawodnosc – Maintenance and Reliability, 25 (2023), No. 1, 11.
• [6] Kłosowski G., Rymarczyk T., Kania K., Świć A., Cieplak T., Maintenance of industrial reactors supported by deep learning driven ultrasound tomography, Eksploatacja i Niezawodnosc – Maintenance and Reliability; 22 (2020), No 1, 138–147.
• [7] Rymarczyk T., Kłosowski G., Hoła A., Sikora J., Tchórzewski P., Skowron Ł., Optimising the Use of Machine Learning Algorithms in Electrical Tomography of Building Walls: Pixel Oriented Ensemble Approach, Measurement, 188 (2022), 110581.
• [8] Pawłowski S., Plewako J., Korzeniewska E., Field Modeling of the Influence of Defects Caused by Bending of Conductive Textronic Layers on Their Electrical Conductivity, Sensors, 23 (2023), No. 3, 1487.
• [9] Rymarczyk T., Kłosowski G., Hoła A., Hoła J., Sikora J., Tchórzewski P., Skowron Ł., Historical Buildings Dampness Analysis Using Electrical Tomography and Machine Learning Algorithms, Energies, 14 (2021), No. 5, 1307.
• [10] Kłosowski G., Rymarczyk T., Niderla K., Rzemieniak M., Dmowski A., Maj M., Comparison of Machine Learning Methods for Image Reconstruction Using the LSTM Classifier in Industrial Electrical Tomography, Energies 2021, 14 (2021), No. 21, 7269.
• [11] Koulountzios P., Rymarczyk T., Soleimani M., A triple-modality ultrasound computed tomography based on full-waveform data for industrial processes, IEEE Sensors Journal, 21 (2021), No. 18, 20896-20909.
• [12] Vaswani, A., et al., Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, (2017), 6000–6010.
• [13] Devlin, J., Chang, M.W., Lee, K., & Toutanova, K., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, (2019), 4171–4186.
• [14] Radford A. et al., Improving Language Understanding by Generative Pre-Training, online: https://openai.com/research/language-unsupervised, (2018).
• [15] Brown, T., et al., Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Curran Associates, Inc., (2020), 1877–1901.
• [16] Wolf, T., et al, HuggingFace's transformers: State-of-the-art natural language processing. ArXiv preprint arXiv:1910.03771, (2019).

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki i promocja sportu (2025).