Classification Performance Comparison of BERT and IndoBERT on SelfReport of COVID-19 Status on Social Media

• Autorzy: Budiman Irwan , Faisal Mohammad Reza , Faridhah Astina , Farmadi Andi , Mazdadi Muhammad Itqan , Saragih Triando Hamonangan , Abadi Friska

Identyfikatory

DOI

10.35784/jcsi.5564

Warianty tytułu

PL

Porównanie wyników klasyfikacji BERT i IndoBERT w zakresie samodzielnego zgłaszania statusu COVID-19 w mediach społecznościowych

• Języki publikacji: EN

Abstrakty

EN

Messages shared on social media platforms like X are automatically categorized into two groups: those who self-report COVID-19 status and those who do not. However, it is essential to note that these messages cannot be a reliable monitoring tool for tracking the spread of the COVID-19 pandemic. The classification of social media messages can be achieved through the application of classification algorithms. Many deep learning-based algorithms, such as Convolutional Neural Networks (CNN) or Long Short-Term Memory (LSTM), have been used for text classification. However, CNN has limitations in understanding global context, while LSTM focuses more on understanding word-by-word sequences. Apart from that, both require a lot of data to learn. Currently, an algorithm is being developed for text classification that can cover the shortcomings of the previous algorithm, namely Bidirectional Encoder Representations from Transformers (BERT). Currently, there are many variants of BERT development. The primary objective of this study was to compare the effectiveness of two classification models, namely BERT and IndoBERT, in identifying self-report messages of COVID-19 status. Both BERT and IndoBERT models were evaluated using raw and preprocessed text data from X. The study's findings revealed that the IndoBERT model exhibited superior performance, achieving an accuracy rate of 94%, whereas the BERT model achieved a performance rate of 82%.

PL

Wiadomości udostępniane na platformach mediów społecznościowych, takich jak X, są automatycznie dzielone na dwie grupy: te, które samodzielnie zgłaszają swój status COVID-19, i te, które tego nie robią. Należy jednak pamiętać, że komunikaty te nie mogą stanowić wiarygodnego narzędzia monitorowania umożliwiającego śledzenie rozprzestrzenia-nia się pandemii Covid-19. Klasyfikację komunikatów w mediach społecznościowych można osiągnąć poprzez zastosowanie algorytmów klasyfikacyjnych. Do klasyfikacji tekstu wykorzystano wiele algorytmów opartych na głębokim uczeniu się, takich jak konwolucyjne sieci neuronowe (CNN) czy pamięć długoterminowa (LSTM). Jednak CNN ma ograniczenia w rozumieniu kontekstu globalnego, podczas gdy LSTM koncentruje się bardziej na zrozumieniu sekwencji słowo po słowie. Poza tym oba wymagają dużej ilości danych do nauki. Obecnie opracowywany jest algorytm klasyfikacji tekstu, który może pokryć wady poprzedniego algorytmu, a mianowicie dwukierunkowych reprezentacji enkoderów z transformatorów (BERT). Obecnie istnieje wiele wariantów rozwoju BERT. Podstawowym celem tego badania było porównanie skuteczności dwóch modeli klasyfikacji, a mianowicie BERT i IndoBERT, w identyfikowaniu komunikatów samoopisowych na temat statusu COVID-19. Zarówno modele BERT, jak i IndoBERT oceniano przy użyciu surowych i wstępnie przetworzonych danych tekstowych z X. Wyniki badania wykazały, że model IndoBERT wykazał się doskonałą wydajnością, osiągając współczynnik dokładności na poziomie 94%. Natomiast model BERT osiągnął wskaźnik wydajności na poziomie 82%.

Słowa kluczowe

EN

Text Classification; Covid-19 symptoms; Twitter; BERT; IndoBERT

PL

klasyfikacja tekstu; Covid-19 status; X; BERT; IndoBERT

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Journal of Computer Sciences Institute
• Rocznik: 2024
• Tom: Vol. 30
• Strony: 61--67
• Opis fizyczny: Bibliogr. 18 poz., fig., tab.

Twórcy

autor

Budiman Irwan

• Lambung Mangkurat University (Indonesia)

autor

Faisal Mohammad Reza

• Lambung Mangkurat University (Indonesia)

autor

Faridhah Astina

• Lambung Mangkurat University (Indonesia)

autor

Farmadi Andi

• Lambung Mangkurat University (Indonesia)

autor

Mazdadi Muhammad Itqan

• Lambung Mangkurat University (Indonesia)

autor

Saragih Triando Hamonangan

• Lambung Mangkurat University (Indonesia)

autor

Abadi Friska

• Lambung Mangkurat University (Indonesia)

Bibliografia

• 1. T. Mackey, V. Purushothaman, J. Li, N. Shah, M. Nali, C. Bardier, B. Liang, M. Cai, R. Cuomo, Machine learning to detect self-reporting of symptoms, testing access, and recovery associated with COVID-19 on Twitter: retrospective big data infoveillance study, JMIR public health and surveillance, 6(2) (2020) 1-9, https://doi.org/10.2196/19509
• 2. A. Z. Klein, A. Magge, K. O’Connor, J. I. Flores Amaro, D. Weissenbacher, and G. Gonzalez Hernandez, Toward using Twitter for tracking COVID-19: a natural language processing pipeline and exploratory data set, Journal of medical Internet research, 23 (1) (2021) 1-6, https://doi.org/10.2196/25314
• 3. F. E. Ayo, O. Folorunso, F. T. Ibharalu, and I. A. Osinuga, Machine learning techniques for hate speech classification of Twiiter data: State-of-The-Art, future challenges and research directions, Computer Science Review, 38 (2020) 1-34, https://doi.org/10.1016/j.cosrev.2020.100311
• 4. M. A. Riza, N. Charibaldi, U. Pembangunan, and N. Veteran, Emotion Detection in Twiter Social Media Using Long Short - Term Memory ( LSTM ) and Fast Text, 3 (1) (2021) 15–26, https://doi.org/10.25139/ijair.v3i1.3827
• 5. A. Chiorrini, C. Diamantini, A. Mircoli, and D. Potena, Emotion and sentiment analysis of posts using BERT, In EDBT/ICDT Workshops, 3 (2021) 1-7
• 6. B. Wilie, K. Vincentio, G.I. Winata, S. Cahyawijaya, X. Li, Z.Y. Lim, S. Soleman, R. Mahendra, P. Fung, S. Bahar, A. Purwarianti, IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding, arXiv preprint arXiv:2009.05387, (2020) 1-15
• 7. P. Ganesh, Y. Chen, X. Lou, M.A. Khan, Y. Yang, H. Sajjad, P. Nakov, D. Chen, M . Winslett, Compressing large-scale transformer-based models: A case study on BERT, Transactions of the Association for Computational Linguistics, 9 (2021) 1061–1080, https://doi.org/10.1162/tacl_a_00413
• 8. J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, BERT: Pre-training of deep bidirectional transformers for language understanding, In Proceedings of naacL-HLT, 1 (2019) 4171–4186
• 9. F. Koto, A. Rahimi, J. H. Lau, and T. Baldwin, IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP, COLING 2020 - 28th International Conference on Computational Linguistics, Proceedings of the Conference (2020) 757–770, http://dx.doi.org/10.18653/v1/2020.coling-main.66
• 10. C. Menni, A.M. Valdes, M.B. Freidin, C.H. Sudre, L.H. Nguyen, D.A. Drew, S. Ganesh, T. Varsavsky, M.J. Cardoso, J.S. El-Sayed Moustafa, A. Visconti, Real-time tracking of self-reported symptoms to predict potential COVID-19, Nature medicine, 26 (7) (2020) 1037–1040, https://doi.org/10.1038/s41591-020-0916-2
• 11. M. A. Al-garadi, Y. Yang, S. Lakamana, A. Sarker, A Text Classification Approach for the Automatic Detection of Twitter Posts Containing Self-reported COVID-19 Symptoms, Open Review, (2020) 1–5
• 12. S. N. Sari, M. R. Faisal, D. Kartini, I. Budiman, Comparison of Feature Extraction with Supervised and Unsupervised Weighting in the Random Forest Algorithm for Monitoring Reports of COVID-19 Sufferers on Twitter, Jurnal Komputasi, 11 (1) (2023) 34–42, http://dx.doi.org/10.23960%2Fkomputasi.v11i1.6650
• 13. M. R. Faisal, I. Budiman, F. Abadi, M. Haekal, D. T. Nugrahadi, A comparison of word embedding-based extraction feature techniques and deep learning models of natural disaster messages classification, Journal of Computer Sciences Institute, 27 (2023) 145–153, https://doi.org/10.35784/jcsi.3322
• 14. M. Khairie, M. R. Faisal, R. Herteno, I. Budiman, F. Abadi, and M. I. Mazdadi, The Effect of Channel Size on Performance of 1D CNN Architecture for Automatic Detection of Self-Reported COVID-19 Symptoms on Twitter, in 2023 International Seminar on Intelligent Technology and Its Applications (ISITIA) (2023) 621–625. https://doi.org/10.1109/ISITIA59021.2023.10220444
• 15. M. R. Faisal, I. Budiman, F. Abadi, D. T. Nugrahadi, M. Haekal, and I. Sutedja, Applying Features Based on Word Embedding Techniques to 1D CNN for Natural Disaster Messages Classification, 2022 5th International Conference on Computer and Informatics Engineering, IC2IE 2022, (2022) 192–197, https://doi.org/10.1109/IC2IE56416.2022.9970188
• 16. G. A. Pradnyana, W. Anggraeni, E. M. Yuniarno, and M. H. Purnomo, Fine-Tuning IndoBERT Model for Big Five Personality Prediction from Indonesian Social Media, in 2023 International Seminar on Intelligent Technology and Its Applications (ISITIA) (2023) 93–98, https://doi.org/10.1109/ISITIA59021.2023.10221074
• 17. M. F. Nafiz, D. Kartini, M. R. Faisal, F. Indriani, and T. Hamonangan, Automated Detection of COVID-19 Cough Sound using Mel-Spectrogram Images and Convolutional Neural Network, Jurnal Ilmiah Teknik Elektro Komputer dan Informatika (JITEKI), 9 (3) (2023) 535–548, http://dx.doi.org/10.26555/jiteki.v9i3.26374
• 18. K. Y. Halim, D. T. Nugrahadi, M. R. Faisal, R. Herteno, and I. Budiman, Gender Classification Based on Electrocardiogram Signals Using Long Short Term Memory and Bidirectional Long Short Term Memory, Jurnal Ilmiah Teknik Elektro Komputer dan Informatika (JITEKI), 9 (3) (2023) 606–618, http://dx.doi.org/10.26555/jiteki.v9i3.26354

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki (2025).