Analiza wydajności biblioteki TensorFlow z wykorzystaniem różnych algorytmów optymalizacji

• Autorzy: Wadas Maciej , Smołka Jakub

Identyfikatory

DOI

10.35784/jcsi.2738

Warianty tytułu

EN

Performance analysis of the TensorFlow library with different optimisation algorithms

• Języki publikacji: PL

Abstrakty

PL

W artykule zaprezentowano wyniki analizy wydajności biblioteki TensorFlow wykorzystywanej w uczeniu maszyno-wym i głębokich sieciach neuronowych. Analiza skupia się na porównaniu parametrów otrzymanych podczas treningu modelu sieci neuronowej dla algorytmów optymalizacji: Adam, Nadam, AdaMax, AdaDelta, AdaGrad. Zwrócono szczególną uwagę na różnice pomiędzy efektywnością treningu na zadaniach wykorzystujących mikroprocesor i kartę graficzną. Do przeprowadzenia badań utworzono modele sieci neuronowej, której zadaniem było rozpoznawanie znaków języka polskiego pisanych odręcznie. Otrzymane wyniki wykazały, że najwydajniejszym algorytmem jest AdaMax, zaś podzespół komputera wykorzystywany podczas badań wpływa jedynie na czas treningu wykorzystanego modelu sieci neuronowej.

EN

This paper presents the results of performance analysis of the Tensorflow library used in machine learning and deep neural networks. The analysis focuses on comparing the parameters obtained when training the neural network model for optimization algorithms: Adam, Nadam, AdaMax, AdaDelta, AdaGrad. Special attention has been paid to the differences between the training efficiency on tasks using microprocessor and graphics card. For the study, neural network models were created in order to recognise Polish handwritten characters. The results obtained showed that the most efficient algorithm is AdaMax, while the computer component used during the research only affects the training time of the neural network model used.

Słowa kluczowe

PL

uczenie maszynowe; sieci neuronowe

EN

machine learning; neural networks

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Journal of Computer Sciences Institute
• Rocznik: 2021
• Tom: Vol. 21
• Strony: 330--335
• Opis fizyczny: Bibliogr. 21 poz. rys., tab.

Twórcy

autor

Wadas Maciej

• Department of Computer Science, Lublin University of Technology, Nadbystrzycka 36B, 20-618 Lublin, Poland

autor

Smołka Jakub

• Department of Computer Science, Lublin University of Technology, Nadbystrzycka 36B, 20-618 Lublin, Poland

Bibliografia

• [1] J. McCarthy, From here to human-level AI, Artificial Intelligence 171 (2007) 1174–1182, https://doi.org/10.1016/j.artint.2007.10.009.
• [2] T. Okuda, S. Shoda, AI-based chatbot service for financial industry, Fujitsu Scientific and Technical Journal 54 (2018) 4–8.
• [3] S. Green, J. Heer, C. D. Manning, Natural language translation at the intersection of AI and HCI, Communications of the ACM 58 (2015) 46–53, https://doi.org/10.1145/2767151.
• [4] K. Chakraborty, A. Talele, S. Upadhya, Voice recognition using MFCC algorithm, International Journal of Innovative Research in Advanced Engineering (IJIRAE) 1 (2014) 158–161.
• [5] H. Fujiyoshi, T. Hirakawa, T. Yamashita, Deep learning-based image recognition for autonomous driving, IATSS research 43 (2019) 244–252, https://doi.org/10.1016/j.iatssr.2019.11.008.
• [6] A. Abraham, F. Pedregosa, M. Eickenberg, P. Gervais, A. Mueller, J. Kossaifi, A. Gramfort, B. Thirion, G. Varoquaux, Machine learning for neuroimaging with scikit-learn, Frontiers in neuroinformatics 8 (2014) 1–14, https://doi.org/10.3389/fninf.2014.00014.
• [7] J. Moolayil, J. Moolayil, S. John, Learn Keras for Deep Neural Networks, Birmingham: Apress, 2019.
• [8] R. Al-Rfou, G. Alain, A. Almahairi, C. Angermueller, D. Bahdanau, N. Ballas, F. Bastien, J. Bayer et al., Theano: A Python framework for fast computation of mathematical expressions, Computing Research Repository (2016) 1–19.
• [9] G. Zaccone, M. R. Karim, Deep learning with TensorFlow: Explore neural networks and build intelligent systems with python, Packt Publishing Ltd, 2018.
• [10] S. Bahrampour, N. Ramakrishnan, L. Schott, M. Shah, Comparative study of deep learning software frameworks, Computing Research Repository (2015).
• [11] S. Raschka, Python. Uczenie maszynowe, Packt Publishing Ltd, 2017.
• [12] Firmy wykorzystujące bibliotekę Tensorflow, https://www.tensorflow.org/about/case-studies, [26.06.2021].
• [13] Opis architektury biblioteki Tensorflow, https://developers.googleblog.com/2017/09/introducing-tensorflow-datasets.html, [26.06.2021].
• [14] D. P. Kingma, J. Ba, Adam: A method for stochastic optimization, International Conference on Learning Representations (2015) 1–15.
• [15] T. Dozat, Incorporating Nesterov Momentum into Adam, International Conference on Learning Representations (2016) 1–4.
• [16] A. Lydia, S. Francis, Adagrad–an optimizer for stochastic gradient descent, International Journal of Information and Computing Science 6 (2019) 566–568.
• [17] M. D. Zeiler, Adadelta: an adaptive learning rate method, Computing Research Repository (2012).
• [18] M. Tokovarov, M. Kaczorowska, M. Miłosz, Development of Extensive Polish Handwritten Characters Database for Text Recognition Research, Advances in Science and Technology Research Journal 14 (2020) 30–38, https://doi.org/10.12913/22998624/122567.
• [19] E. Łukasik, M. Charytanowicz, M. Miłosz, M. Tokovarov, M. Kaczorowska, D. Czerwinski, T. Zientarski, Recognition of handwritten Latin characters with diacritics using CNN, Bulletin of the Polish Academy of Sciences: Technical Sciences 69 (2021) 1–12, http://dx.doi.org/10.24425/bpasts.2020.136210.
• [20] E. Zitzler, Evolutionary algorithms for multiobjective optimization: Methods and applications, Ithaca: Shaker. 1999.
• [21] K. Kukuła, Metoda unitaryzacji zerowanej na tle wybranych metod normowania cech diagnostycznych, Acta Scientifica Academiae Ostroviensis 4 (1999) 5–31.

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2021).