Application of convolutional neuron network for image processing and interpretation

• Autorzy: Pałczyński Krzysztof

Warianty tytułu

PL

Zastosowanie konwolucyjnych sieci neuronowych do przetwarzania i interpretacji obrazów

• Języki publikacji: EN

Abstrakty

EN

This article describes the application of Convolutional Neural Network in image processing and describes how it works. There are presented: network layers, types of activation functions, example of the AlexNet network architecture, the use of the loss function and the cross entropy method to calculate the loss during tests, L2 and Dropout methods used for weights regularization and optimization of the loss function using Stochastic Gradient Drop.

PL

Artykuł ten opisuje zastosowanie Konwolucyjnych Sieci Neuronowych w przetwarzaniu obrazów. W celu lepszego zrozumienia tematu opisano sposób działania sieci. Przedstawiono sieci wielowarstwowe, rodzaje funkcji aktywacji, przykład architektury sieci AlexNet. W artykule skupiono się na opisaniu wykorzystania funkcji straty oraz metody entropii krzyżowej do obliczenia straty w czasie testów. Opisano również sposoby normalizacji wag L2 i Dropout oraz optymalizację funkcji straty za pomocą Stochastycznego Spadku Gradientu.

Słowa kluczowe

EN

convolutional neural network; image processing; filtration; convolution; activation function; loss function; softmax; cross entropy; L2; Dropout; stochastic gradient drop

PL

konwolucyjne sieci neuronowe; przetwarzanie obrazów; filtracja; splot; funkcja aktywacji; funkcja straty; softmax; entropia krzyżowa; L2; Dropout; stochastyczny spadek gradientu

• Wydawca: Wydawnictwa Uczelniane Politechniki Bydgoskiej im. Jana i Jędrzeja Śniadeckich
• Czasopismo: Zeszyty Naukowe. Telekomunikacja i Elektronika / Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy
• Rocznik: 2019
• Tom: nr 23
• Strony: 5--12
• Opis fizyczny: Bibliogr. 16 poz., rys.

Twórcy

autor

Pałczyński Krzysztof

• Faculty of Telecommunications, Computer Science and Electrical Engineering, UTP University of Science and Technology, Al. prof. S. Kaliskiego 7, 85-796 Bydgoszcz

Bibliografia

• [1] A Beginner's Guide To Understanding Convolutional Neural Networks Part 2 https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks-Part-2/
• [2] A Gentle Introduction to Pooling Layers for Convolutional Neural Networs https://machinelearningmastery.com/pooling-layers-for-convolutional-neural-networks
• [3] Application of the Cross Entropy Clustering method in biometrics https: //www.mini.pw.edu.pl/~homenda/common/Dr_Krzysztof_Misztal.pdf
• [4] Applying Gradient Descent in Convolutional Neural Networks – Nan Cui https://iopscience.iop.org/article/10.1088/1742-6596/1004/1/012027/pdf
• [5] Classification and Loss Evaluation – Softmax and Cross Entropy Loss https://deepnotes.io/softmax-crossentropy
• [6] CNN Architectures: LeNet, AlexNet, VGG, GoogLeNet, ResNet and more, https://medium.com/@sidereal/cnns-architectures-lenet-alexnet-vgg-googlenetresnet-and-more-666091488df5
• [7] CNN – Fully Connected Layer (FC), http://sciagaprogramisty.blogspot.com/2018/03/fully-connected-layer-fc-warstwaw-peni.html
• [8] Convolutional Neural Networks (CNN): Softmax & Cross-Entropy https://www.superdatascience.com/blogs/convolutional-neural-networks-cnnsoftmax-crossentropy
• [9] CS231n Convolutional Neural Networks for Visual Recognition http://cs231n.github.io/linear-classify/#softmax
• [10] Derivative of the Sigmoid function, https://towardsdatascience.com/derivative-ofthe-sigmoid-function-536880cf918e
• [11] Difference between AlexNet, VGGNet, ResNet and Inception https://towardsdatascience.com/the-w3h-of-alexnet-vggnet-resnet-and-inception-7baaaecccc96
• [12] Dropout in (Deep) Machine learning https://medium.com/@amarbudhiraja/https-medium-com-amarbudhiraja-learningless-to-learn-better-dropout-in-deep-machine-learning-74334da4bfc5
• [13] Hope T., Resheff Y.S., Lieder I., 2017. Learning TensorFlow. O'Reily Media.
• [14] Lecture Collection, Convolutional Neural Networks for Visual Recognition (Spring 2017) – Fei-Fei Li, Justin Johnson, Serena Yeung – https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv
• [15] Notes on Backpropagation – Peter Sadowski https: //www.ics.uci.edu/~pjsadows/notes.pdf
• [16] Proofs of Derivatives of Hyperbolics, http://math2.org/math/derivatives/more/hyperbolics.htm