Wyniki wyszukiwania - BazTech

1

Comparison of an effectiveness of artificial neural networks for various activation functions

Florek Daniel, Miłosz Marek

Journal of Computer Sciences Institute

|

2023

|

Vol. 26

7--12

EN

Activation functions play an important role in artificial neural networks (ANNs) because they break the linearity in the data transformations that are performed by models. Thanks to the recent spike in interest around the topic of ANNs, new improvements to activation functions are emerging. The paper presents the results of research on the effectiveness of ANNs for ReLU, Leaky ReLU, ELU, and Swish activation functions. Four different data sets, and three different network architectures were used. Results show that Leaky ReLU, ELU and Swish functions work better in deep and more complex architectures which are to alleviate vanishing gradient and dead neurons problems. Neither of the three aforementioned functions comes ahead in accuracy in all used datasets, although Swish activation speeds up training considerably and ReLU is the fastest during prediction process.

PL

Funkcje aktywacji, przełamując linową naturę transformacji zachodzących w sztucznych sieciach neuronowych (SSN), pozwalają na uczenie skomplikowanych wzorców występujących w danych wejściowych, np. w obrazach. Wzrost zain-teresowania wokół SSN skłonił naukowców do badań wokół różnolitych aktywacji, które mogą dać przewagę podczas uczenia jak i przewidywania, ostatecznie przyczyniając się do powstania nowych, interesujących rozwiązań. W artykule przedstawiono wyniki badań nad efektywnością SSN dla funkcji ReLU, Leaky ReLU, ELU oraz Swish, przy użyciu czterech zbiorów danych i trzech różnych architektur SSN. Wyniki pokazują, że funkcje Leaky ReLU, ELU i Swish lepiej sprawdzają się w głębokich i bardziej skomplikowanych architekturach, mając za zadanie zapobieganie proble-mom zanikającego gradientu (ang. Vanishing Gradient) i martwych neuronów (ang. Dead neurons). Żadna z trzech wyżej wymienionych funkcji nie ma przewagi w celności (ang. Accuracy), jednakże Swish znacznie przyspiesza ucze-nie SSN, a ReLU jest najszybsza w procesie przewidywania

2

Application of convolutional neuron network for image processing and interpretation

Pałczyński Krzysztof

Zeszyty Naukowe. Telekomunikacja i Elektronika / Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy

|

2019

|

nr 23

5--12

EN

This article describes the application of Convolutional Neural Network in image processing and describes how it works. There are presented: network layers, types of activation functions, example of the AlexNet network architecture, the use of the loss function and the cross entropy method to calculate the loss during tests, L2 and Dropout methods used for weights regularization and optimization of the loss function using Stochastic Gradient Drop.

PL

Artykuł ten opisuje zastosowanie Konwolucyjnych Sieci Neuronowych w przetwarzaniu obrazów. W celu lepszego zrozumienia tematu opisano sposób działania sieci. Przedstawiono sieci wielowarstwowe, rodzaje funkcji aktywacji, przykład architektury sieci AlexNet. W artykule skupiono się na opisaniu wykorzystania funkcji straty oraz metody entropii krzyżowej do obliczenia straty w czasie testów. Opisano również sposoby normalizacji wag L2 i Dropout oraz optymalizację funkcji straty za pomocą Stochastycznego Spadku Gradientu.

3

Application of Neural Networksin the Tests of Hand Grenade Fuses

Ampuła Dariusz

Biuletyn Wojskowej Akademii Technicznej

|

2019

|

Vol. 68, nr 1

197--212

EN

The neural networks, which find currently use in the unusually wide range of problems, in such fields as: finance, medicine, geology or physics, were characterized in the article. It was accent, that neural networks are very sophisticated technique of modelling, able to map extremely complex functions. It was noticed particularly, that neural networks had a non-linear character, what very essentially improve the possibilities of their applications. Some previous applications of neural networks were introduced, both in the area of domestic and foreign, including also military applications. The fuse of UZRGM type (Universal Modernized Fuse of Hand Grenades) was characterized, describing his building and way of action, special attention-getting on the tested features during laboratory diagnostic tests. Necessary technical parameters for the first and the second laboratory diagnostic tests, whose purpose was to build two independent neural networks, on the basis of existing test results and undertaken post-diagnostic decisions were designed. A few artificial neural networks were made and finally the best two independent neural networks were chosen. The main parameters of the chosen active neural networks were introduced in the pictures. Concise information, relating to the built artificial neural networks, for the first and the second laboratory diagnostic tests of the fuses of UZRGM type, was presented in the end of the article. In the summary, clearly distinguished are advantages of the applications of the proposed evaluation method, which significantly shortens an evaluation process of new empirical test results and causes complex automatization of an evaluation process of the tested fuses.

PL

W artykule scharakteryzowano sieci neuronowe, które znajdują obecnie zastosowanie w niezwykle wielu problemach, w takich dziedzinach jak: finanse, medycyna, geologia czy fizyka. Podkreślono, że sieci neuronowe są bardzo wyrafinowaną techniką modelowania, zdolną do odwzorowania nadzwyczaj złożonych funkcji. W szczególności zauważono, że sieci te mają charakter nieliniowy, co bardzo istotnie wzbogaca możliwości ich zastosowania. Przedstawiono niektóre dotychczasowe zastosowania sieci neuronowych, zarówno w obszarze krajowym, jak i zagranicznym, włączając w to także zastosowania wojskowe. Scharakteryzowano zapalnik typu UZRGM, opisując jego budowę oraz sposób działania, zwrócono szczególną uwagę na badane cechy podczas laboratoryjnych badań diagnostycznych. Zaprojektowano niezbędne parametry techniczne dla pierwszych i drugich laboratoryjnych badań diagnostycznych, których celem była budowa dwóch niezależnych sieci neuronowych na podstawie istniejących wyników badań oraz podjętych decyzji podiagnostycznych. Zbudowano wiele sztucznych sieci neuronowych, których wynikiem były zaprojektowane i wybrane jako najlepsze dwie niezależne sieci neuronowe. Na rysunkach przedstawiono główne parametry wybranych aktywnych sieci neuronowych. Na końcu artykułu znajdują się zwięzłe informacje dotyczące zbudowanych sztucznych sieci neuronowych dla pierwszych i drugich laboratoryjnych badań diagnostycznych zapalników typu UZRGM. W podsumowaniu jasno wyróżniono zalety stosowania zaproponowanej metody oceny, która znacząco skraca proces oceny nowych empirycznych wyników badań oraz powoduje pełną automatyzację procesu oceny badanych zapalników.

4

The CORDIC method of calculating the exponential function

Moroz L., Samotyy V.

Technical Transactions

|

2018

|

Vol. 115, iss. 4

119--126

EN

This article presents a modern method of calculating the exponential function exp(x) based on the CORDIC iterative algorithm. The proposed solution is implemented in the form of a single iterative equation, which results in the simplification of the electronic version of this algorithm, thus reducing the cost of the device. It is important to point out that the accuracy of the calculation of the analysed function is not lost.

PL

W artykule zaproponowano nowoczesną metodę obliczania funkcji eksponencjalnej exp(x) na bazie algorytmu iteracyjnego CORDIC. Przedstawione rozwiązanie jest realizowane w postaci jednego równania iteracyjnego, co prowadzi do uproszczenia wersji elektronicznej tego algorytmu i w wyniku zmniejsza koszt urządzenia. Należy podkreślić, że przy tym nie tracimy na dokładności obliczania badanej funkcji.

5

Sztuczne sieci neuronowe i kierunki ich zastosowań w przemyśle. Przykłady zastosowań sztucznych sieci neuronowych wykorzystanych do poprawy jakości procesów przędzalniczych

Lewandowski S., Drobina R., Grecka A.

Przegląd Włókienniczy - Włókno, Odzież, Skóra

|

2016

|

nr 9

32--36

EN

Artificial neural networks have been used in all stages of the manufacturing process of textiles, from fibers, and even at the stage of forming a fiber-forming polymers, starting and ending with finished products. This article presents som examples ofapplications of artificial neural networks used to improve the qualit of spinning processes. Artificial neural multilayer perceptron type learned usin a back propagation algorithm and the algorithm of Marquardt are inter alii to predict the course of the spinning process as well as predicting the physicc properties of yarns, ensuring sufficient accuracy.

6

Sztuczne sieci neuronowe i kierunki ich zastosowań w przemyśle. Podstawowe rodzaje sztucznych sieci neuronowych

Drobina R., Grecka A., Lewandowski S.

Przegląd Włókienniczy - Włókno, Odzież, Skóra

|

2016

|

nr 7

26--31

EN

The article presents the basic types of artificial neural networks (ANN), designed to solve the regression problems, engineering applications, engineering manufacturing as well as in industrial conditions. The group included these networks are Adaline network, Madaline networks, linear, unidirectional network perpceptron type of multi-layer (MLP), Generalized Regression Neural Networks (GRNN) and a network of radial basis function (RBF).

7

Synthesis and analysis of a memristor-based perceptron for logical function emulation

Mladenov V., Kirilov S.

Przegląd Elektrotechniczny

|

2016

|

R. 92, nr 4

22--25

EN

The purpose of this research is to propose a new memristor-based synaptic device for use in perceptrons. A synaptic circuit made by two memristors is analyzed and a linear relationship between time and synaptic weight is obtained for rectangular input pulses. For adjusting the synaptic weight pulses with long duration and high magnitude are used. The operating input signals are with short duration and low amplitude to avoid altering the memristor state. A successful operation of the new memristor linear synapse is established after scaling the synaptic weight.

PL

W pracy zaproponowano nowe urządzenie synaptyczne bazujące na memristorze, które można użyć w perceptronach. Przeanalizowano obwód synaptyczny zbudowany z dwóch memristorów i dla prostokątnych impulsów wejściowych uzyskano liniowe zależności pomiędzy czasem a wagą synaptyczną. W celu dopasowania wag synaptycznych użyto impulsów o długim czasie trwania i dużej amplitudzie. Sygnały wejściowe posiadają krótki czas trwania oraz małą amplitudę w celu uniknięcia zmiany stanu memristora. Po wyskalowaniu wagi synaptycznej uzyskano skuteczne działanie nowego memristora.