Głębokie sieci neuronowe i ich zastosowania w eksploracji danych

Osowski, S.

doi:10.15199/59.2018.5.2

Artykuł - szczegóły

Tytuł artykułu

Głębokie sieci neuronowe i ich zastosowania w eksploracji danych

Autorzy

Osowski S.

Identyfikatory

DOI

10.15199/59.2018.5.2

Warianty tytułu

Deep neural networks in application to data mining

Języki publikacji

Abstrakty

Artykuł dotyczy podstaw działania typowych sieci neuronowych głębokich, do których zalicza się sieci konwolucyjne (CNN), autoenkoder czy sieć LSTM. Omówiono struktury tych sieci, ich algorytmy uczenia oraz dokonano przeglądu podstawowych zastosowań owych sieci w rozwiązywaniu różnego rodzaju zadań eksploracji danych, między innymi klasyfikacji, regresji, segmentacji danych, rekonstrukcji danych i wielu innych. Przedstawiono między innymi wyniki prac dotyczących bioinżynierii, w szczególności rozpoznawanie i klasyfikację obrazów mammograficznych.

The paper presents the theoretical fundamentals of deep neural networks. The basic deep structures are discussed. They include convolutional neural networks (CNN), autoencoder (AE) and recurrent network called LSTM (Long short-term memory). This paper is concerned on presentation of their typical structures and learning algorithms. The review of some chosen applications of these solutions in such tasks as classification, regression, segmentation of data, reconstruction, text and speech recognition, etc., are discussed. Some chosen numerical results concerning classification problems will be also presented and discussed.

Słowa kluczowe

uczenie głębokie sieć CNN autoenkoder sieć LSTM klasyfikacja predykcja

deep learning CNN LSTM autoencoder classification prediction

Wydawca

Wydawnictwo SIGMA-NOT

Czasopismo

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

Rocznik

2018

Tom

nr 5

Strony

112--121

Opis fizyczny

Bibliogr. 22 poz., rys., tab.

Twórcy

autor

Osowski S.

sto@iem.pw.edu.pl

Politechnika Warszawska, Wojskowa Akademia Techniczna

Bibliografia

[1] Fukushima K.: “Neocognitron – a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position”. Biological Cybernetics 1980, vol.. 36, No 4, pp. 193–202. doi:10.1007/bf00344251.
[2] LeCun Y., Y. Bengio: “Convolutional networks for images, speech, and time-series”. 1995, in Arbib M. A. (editor), The Handbook of Brain Theory and Neural Networks. MIT Press, Massachusetts.
[3] Goodfellow I., Y. Bengio, A. Courville : Deep learning 2016, MIT Press, Massachusetts.
[4] Schmidhuber J.: Deep learning in neural networks: An overview. Neural Networks 2015, vol. 61, pp. 85-117.
[5] Hinton G. E, S. Osindero, and Y. W. Teh,: A fast learning algorithm for deep belief nets. Neural Computation 2006, vol. 18, pp. 1527-1554.
[6] Lecture CS231n. CS231n: Convolutional Neural. 2017, Stanford Vision Lab, Stanford University.
[7] Krizhevsky A., I. Sutskever, G. Hinton: Image net classification with deep convolutional neural networks. Advances in Neural Information Processing Systems 2012, vol. 25, pp. 1-9.
[8] Matlab 2017b, Math Works, Natick, USA, 2017.
[9] Zeiler M. D., R. Fergus: Visualizing and Understanding Convolutional Networks. 2013, pp. 1-11, https://arxiv.org/abs/1311.2901.
[10] Simonyan K., A. Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition. 2014, pp. 1-14, arXiv:1409.1556.
[11] He K., X. Zhang, S. Ren, J. Sun: Deep Residual Learning for Image Recognition. 2015, http://arxiv.org/abs/1512.03385.
[12] Ronneberger O., P. Fischer, T. Brox: U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015, arXiv:1505.04597.
[13] Graves A.: Supervised sequence labelling with recurrent neural networks. 2016 (preprint).
[14] Greff K., R. K. Srivastava, J. Koutník, B. R. Steunebrink, J. Schmidhuber: ”LSTM: A search space odyssey”. IEEE Transactions on Neural Networks and Learning Systems 2017, vol. 28, No 10, pp. 2222-2232.
[15] Shi Y.: Understanding LSTM and its diagrams. 2016, https://medium.com/mlreview/understanding-lstm-and-its-diagrams-37e...
[16] https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet.
[17] Heath D. K. M., K.W. Bowyer: “Current status of the digital database for screening mammography”. 1998, Proceedings of the Fourth International Workshop on Digital Mammography, Kluwer Academic Publishers, Amsterdam, pp. 457–460.
[18] Świderski B., J. Kurek, S. Osowski, M. Kruk, W. Barhoumi.: “Deep learning and non-negative matrix factorization in recognition of mammograms”. Proc. SPIE10225B 2017, Eighth Int. Conf. Graphic and Image Processing, 2017; doi:10.1117/12.2266335, http://dx.doi.org/10.1117/12.2266335.
[19] Cichocki A., R. Zdunek, A. H. Phan, S. I. Amari: Nonnegative matrix and tensor factorizations: applications to exploratory multi-way data analysis and blind source separation. 2009 Wiley, New York.
[20] Siwek K., S. Osowski: ”Deep neural networks and classical approach to face recognition – comparative analysis”. Przegląd Elektrotechniczny 2018, R. 94, No 4, pp. 1-4.
[21] http://www.yaronhadad.com/deep-learning-most-amazing-applications/
[22] http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/en/

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2018).

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-68050b0c-aef5-432a-b5c6-c5b2174405a3