Generowanie wielogłosowej muzyki o określonej emocji przy użyciu wariacyjnego autoenkodera

• Autorzy: Grekow Jacek

Identyfikatory

DOI

10.15199/48.2023.06.45

Warianty tytułu

EN

Generating polyphonic music with a specified emotion using variational autoencoder

• Języki publikacji: PL

Abstrakty

PL

Artykuł przedstawienia proces budowy modelu generującego wielogłosowe muzyczne sekwencje o określonej emocji. Opisano w nim proces przygotowania bazy przykładów uczących i budowę modelu generatywnego na bazie wariacyjnego autoenkodera. Przedstawiono eksperymenty implementacji warstw konwolucyjnych przeznaczonych do analizy wizualnej reprezentacji przykładów muzycznych. Wygenerowane pliki muzyczne poddano ewaluacji przez użycie metryk i porównanie ze zbiorem treningowym.

EN

This article presents the process of building a system generating polyphonic music content with a specified emotion. The process of preparing a training files and building a generative model based on a variational autoencoder was described. Experiments on the implementation of convolutional layers intended for analysis of the musical examples were presented. The generated examples were evaluated by using metrics and comparing them with the training set.

Słowa kluczowe

PL

generacja muzyki wielogłosowej; emocja w muzyce; wariacyjny autoenkoder; model generatywny

EN

polyphonic music generation; music emotion; variational autoencoder; generative model

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2023
• Tom: R. 99, nr 6
• Strony: 225--229
• Opis fizyczny: Bibliogr. 20 poz., rys., tab.

Twórcy

autor

Grekow Jacek

• Politechnika Białostocka, Wydział Informatyki, Wiejska 45 A, Białystok 15-351

• https://orcid.org/0000-0003-2094-0107

Bibliografia

• [1] Briot J.-P., From artificial neural networks to deep learning for music generation: history, concepts and trends, Neural. Comput. Appl., vol. 33 (2021), 39–65
• [2] Dong H.-W., Hsiao W.-Y., Yang Y.-H., Pypianoroll: Open source python package for handling multitrack pianorolls, 19th Int. Soc. Music Inf. Retr. Conf. (ISMIR), (2018), 101–108
• [3] Grekow J., Metoda transformowania muzyki w figury 4D, Przegląd Elektrotechniczny, 91 (2015), nr 4, 159-162
• [4] M. Kania, D. Kania, Trajektoria kwintowa – dwuwymiarowa reprezentacja muzyki, Przegląd Elektrotechniczny, 98 (2022), nr 6, 70-73
• [5] Pratt C. C., Music as the language of emotion, Washington, U.S. Govt. Print. Off.: The Library of Congress, (1950)
• [6] Grekow J., From Content-based Music Emotion Recognition to Emotion Maps of Musical Pieces, Stud. Comput. Intell. Springer, vol. 747 (2018)
• [7] Ji S., Luo J., Yang X., A comprehensive survey on deep music generation: Multi-level representations, algorithms, evaluations, and future directions, CoRR, (2020)
• [8] Zhao Z., Liu H., Li S., Pang J., Zhang M., Qin Y., Wang L., Wu Q., A review of intelligent music generation systems, arXiv, (2022)
• [9] Zhao K., Li S., Cai J., Wang H., Wang J., An emotional symbolic music generation system based on LSTM networks, IEEE 3rd Info., Technol., Networking, Electr. Automat. Contr. Conf. (ITNEC), (2019), 2039–2043
• [10] Grekow J., Dimitrova-Grekow T., Monophonic music generation with a given emotion using conditional variational autoencoder,IEEE Access, vol. 9 (2021), 129088–129101
• [11] Ferreira L., Whitehead J., Learning to generate music withsentiment, 20th Int. Soc. Music Inf. Retr. Conf. (ISMIR), (2019), 384–390
• [12] Pangestu M. A., Suyanto S., Generating music with emotion using transformer, Int. Conf. Comput. Sci. Eng. (IC2SE), (2021), 1–6
• [13] Cuthbert M., Ariza C., Music21: A toolkit for computer-aided musicology and symbolic music data., 11th Int. Soc. Music Inf. Retr. Conf. (ISMIR), (2010), 637–642
• [14] Russell J. A., A circumplex model of affect, J. Pers. Soc. Psychol., vol. 39 (1980), no. 6, 1161–1178
• [15] Wang X., Xiaoou C., Yang D., Wu Y., Music emotion classification of chinese songs based on lyrics using tfidf and rhyme., 12th Int. Soc. Music Inf. Retr. Conf. (ISMIR), (2011), 765–770
• [16] Gabrielsson A., Emotion perceived and emotion felt: Same or different?, Music. Sci., vol. 5 (2002), no. 1 suppl, 123–147
• [17] Aljanaki A., Yang Y.-H., Soleymani M., Developing a benchmark for emotional analysis of music, PLOS ONE, vol. 12 (2017), no. 3, 1–22
• [18] Dong H.-W., Chen K., McAuley J., Berg-Kirkpatrick T., Muspy: A toolkit for symbolic music generation, 21st Int. Soc. Music Inf. Retr. Conf. (ISMIR), (2020)
• [19] Sohn K., Yan X., Lee H., Learning structured output representation using deep conditional generative models, 28th Int. Conf. Neural Inf. Process. Syst., (2015), 3483–3491
• [20] Chollet F., et al., Keras, https://keras.io, (2015)

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2024).