Extracting emotion-cause pairs: a BiLSTM-driven methodology

• Autorzy: Chandra Raga Madhuri , Neelaiahgari Giri Venkata Sai Tej , Vanapalli Satya Sumanth

Identyfikatory

DOI

10.35784/iapgos.6679

Warianty tytułu

PL

Wyodrębnianie par emocja-przyczyna: metodologia oparta na BiLSTM

• Języki publikacji: EN

Abstrakty

EN

Emotions are fundamental to human interactions, intricately influencing communication, behavior, and perception. Emotion-Cause Pair Extraction (ECPE) is a critical task in natural language processing that identifies clause pairs associating emotions with their corresponding triggers within textual documents. Unlike traditional Emotion Cause Extraction (ECE), which relies on pre-annotated emotion clauses, our study introduces a novel end-to-end model for ECPE. This innovative approach utilizes the extensive NTCIR-13 English Corpus to establish a robust baseline for ECPE in English, showcasing significant performance improvements over conventional multi-stage methods. Central to our model is the incorporation of Bidirectional Long Short-Term Memory (BiLSTM) networks, enhancing the ability to capture both local and global dependencies in textual sequences. By effectively combining contextual and positional embeddings, our model accurately predicts emotion-cause relationships, paving the way for a deeper understanding of emotional dynamics in conversational contexts and facilitating causal inference. Furthermore, our research highlights superior performance metrics, aligning its efficacy with state-of-the-art techniques in the field. This study advances emotion recognition in natural language processing, providing valuable insights for nuanced analyses of human emotions within textual data. Additionally, our findings enhance understanding of emotional intelligence in user interaction modeling and conversational AI applications. Through the public availability of our dataset and model, we aim to foster collaboration and further research in this vital area, ultimately improving the capacity for emotional understanding in applications ranging from sentiment analysis to interactive learning.

PL

Emocje mają fundamentalne znaczenie dla interakcji międzyludzkich, ściśle wpływając na komunikację, zachowanie i percepcję. Wyodrębnianie par emocja-przyczyna (ECPE) jest krytycznym zadaniem w przetwarzaniu języka naturalnego, które identyfikuje pary klauzul kojarzące emocje z odpowiadającymi im wyzwalaczami w dokumentach tekstowych. W przeciwieństwie do tradycyjnego wyodrębniania przyczyn emocji (ECE), które opiera się na wstępnie przypisanych klauzulach emocji, proponowane rozwiązanie wprowadza nowatorski kompleksowy model ECPE. To innowacyjne podejście wykorzystuje obszerny anglojęzyczny zbiór NTCIR-13 do ustanowienia solidnej podstawy dla ECPE w języku angielskim, wykazując znaczną poprawę wydajności w porównaniu z konwencjonalnymi metodami wieloetapowymi. Centralnym elementem modelu jest włączenie dwukierunkowych sieci pamięci długotrwałej (BiLSTM), co zwiększa zdolność do wychwytywania zarówno lokalnych, jak i globalnych zależności w sekwencjach tekstowych. Skutecznie łącząc osadzanie kontekstowe i pozycyjne, nasz model dokładnie przewiduje relacje emocji i przyczyn, torując drogę do głębszego zrozumienia dynamiki emocjonalnej w kontekstach konwersacyjnych i ułatwiając wnioskowanie przyczynowe. Co więcej, nasze badania podkreślają doskonałe wskaźniki wydajności, dostosowując ich skuteczność do najnowocześniejszych technik w tej dziedzinie. Badanie to rozwija rozpoznawanie emocji w przetwarzaniu języka naturalnego, dostarczając cennych spostrzeżeń dla zniuansowanych analiz ludzkich emocji w danych tekstowych. Ponadto nasze odkrycia zwiększają zrozumienie inteligencji emocjonalnej w modelowaniu interakcji użytkownika i konwersacyjnych aplikacjach AI. Poprzez publiczną dostępność naszego zbioru danych i modelu, dążymy do wspierania współpracy i dalszych badań w tym istotnym obszarze, ostatecznie poprawiając zdolność rozumienia emocji w zastosowaniach, od analizy nastrojów po interaktywne uczenie się.

Słowa kluczowe

EN

emotional intelligence; Emotion-Cause Pair Extraction; ECPE; Bidirectional Long Short-Term Memory; BiLSTM; emotional dynamics; Natural Language Processing; NLP; conversational analysis

PL

inteligencja emocjonalna; wyodrębnianie par emocja-przyczyna; ECPE; dwukierunkowa długa pamięć krótkotrwała; BiLSTM; dynamika emocjonalna; przetwarzanie języka naturalnego; NLP; analiza konwersacyjna

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 4
• Strony: 97--103
• Opis fizyczny: Bibliogr. 26 poz., rys., wykr.

Twórcy

autor

Chandra Raga Madhuri

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0000-0002-3687-0783

autor

Neelaiahgari Giri Venkata Sai Tej

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0009-0009-5785-0413

autor

Vanapalli Satya Sumanth

• Velagapudi Ramakrishna Siddhartha Engineering College, Department of Computer Science and Engineering, Vijayawada, India

• https://orcid.org/0009-0006-5993-3456

Bibliografia

• [1] Alswaidan N., Menai M. E. B.: A survey of state-of-the-art approaches for emotion recognition in text. Knowledge and Information Systems 62(8), 2020, 2937–2987 [https://doi.org/10.1007/s10115-020-01449-0].
• [2] Bahdanau D., Cho K., Bengio Y.: Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473. 2014.
• [3] Chen F., Shi Z., Yang Z., Huang Y.: Recurrent synchronization network for emotion-cause pair extraction. Knowledge-Based Systems 238, 2022, 107965.
• [4] Chen X., Li Q., Wang J.: A unified sequence labeling model for emotion cause pair extraction. 28th International Conference on Computational Linguistics, 2020, 208–218.
• [5] Cheng Z., Jiang Z., Yin Y., Yu H., Gu Q.: A symmetric local search network for emotion-cause pair extraction. 28th International Conference on Computational Linguistics, 2020, 139–149.
• [6] Colombo P., Witon W., Modi A., Kennedy J., Kapadia M.: Affect-driven dialog generation. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Minnesota, Minneapolis 2019, 3734–3743 [https://doi.org/10.18653/v1/N19-1374].
• [7] Devlin J.: Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
• [8] Ding Z., Xia R., Yu J.: ECPE-2D: Emotion-cause pair extraction based on joint two-dimensional representation, interaction and prediction. 58th Annual Meeting of the Association for Computational Linguistics, 2020, 3161–3170 [https://doi.org/10.18653/v1/2020.acl-main.288].
• [9] Ding Z., Xia R., Yu J.: End-to-end emotion-cause pair extraction based on sliding window multi-label learning. Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, 3574–3583.
• [10] Fan C., Yuan C., Du J., Gui L., Yang M., Xu R.: Transition-based directed graph construction for emotion-cause pair extraction. 58th Annual Meeting of the Association for Computational Linguistics, 2020, 3707–3717.
• [11] Gao K., Xu H., Wang J.: A rule-based approach to emotion cause detection for chinese micro-blogs. Expert Syst. Appl. 42(9), 2015, 4517–4528.
• [12] Gao Q., Hu J., Xu R., Gui L., He Y., Wong K.-F., Lu Q.: Overview of NTCIR-13 ECA Task. 13th NTCIR Conference on Evaluation of Information Access Technologies. Japan, Tokyo 2017, 361–366.
• [13] Ghosh S., Chollet M., Laksana E., Morency L. P., Scherer S.: Affect-LM: A neural language model for customizable affective text generation. 55th Annual Meeting of the Association for Computational Linguistics. Canada, Vancouver 2017, 634–642 [https://doi.org/10.18653/v1/P17-1059].
• [14] Gui Lin, Xu R., Wu D., Lu Q., Zhou Y.: Event-driven emotion cause extraction with corpus construction. Wong K.-F. et al. (eds): Social Media Content Analysis: Natural Language Processing and Beyond. World Scientific, 2018, 145–160.
• [15] Kingma D. P., Ba J.: Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
• [16] Li W. et al.: ECPEC: Emotion-Cause Pair Extraction in Conversations. IEEE Transactions on Affective Computing 14(03), 2023, 1754–1765.
• [17] Li X., Song K., Feng S., Wang D., Zhang Y.: A co-attention neural network model for emotion cause analysis with emotional context awareness. Conference on Empirical Methods in Natural Language Processing, 2018, 4752–4757.
• [18] Modi A., Kapadia M., Fidaleo D. A., Kennedy J. R., Witon W., Colombo P.: Affect-driven dialog generation. U.S. Patent 10,818,312 B2, October 27, 2020.
• [19] Neumann M. P. M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L.: Deep contextualized word representations. arXiv preprint arXiv:1802.05365, 2018.
• [20] Pennington J., Socher R., Manning C. D.: Glove: Global vectors for word representation. Conference on Empirical Methods in Natural Language processing – EMNLP, 2014, 1532–1543.
• [21] Singh I., Barkati A., Goswamy T., Modi A.: Adapting a language model for controlled affective text generation. arXiv preprint arXiv:2011.04000 (2020).
• [22] Strapparava C., Mihalcea R.: Learning to identify emotions in text. ACM symposium on Applied computing, 2008, 1556–1560.
• [23] Vaswani A. et al.: Attention is all you need. Advances in neural information processing systems. 30th Advances in Neural Information Processing Systems – NIPS, 2017, 5998–6008.
• [24] Witon W., Colombo P., Modi A., Kapadia M.: Disney at IEST 2018: Predicting emotions using an ensemble. 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis. Belgium, Brussels 2018, 248–253 [https://doi.org/10.18653/v1/P17].
• [25] Xia R., Ding Z.: Emotion-cause pair extraction: A new task to emotion analysis in texts. arXiv preprint arXiv:1906.01267 (2019).
• [26] Zhang Z.: Improved adam optimizer for deep neural networks. IEEE/ACM 26th International Symposium on Quality of Service (IWQoS), 2018.