Wyniki wyszukiwania - BazTech

1

Uczenie wielowarstwowych szerokich sieci neuronowych z funkcjami aktywacji typu ReLu w zadaniach klasyfikacji

Płaczek S., Płaczek A.

Poznan University of Technology Academic Journals. Electrical Engineering

|

2018

|

No. 96

47--58

PL

W artykule przedstawiono obecnie nowy kierunek rozwoju Sztucznych Sieci Neuronowych w zadaniach aproksymacji i klasyfikacji. W praktyce stosowano sieci o jednej, maksimum dwóch warstwach ukrytych oraz funkcjach aktywacji typu sigmoid lub tanh. Funkcje te charakteryzują się małą zmiennością wartości dla większych wartości zmiennej wejściowej (występują obszary nasycenia) . Konsekwencją tego jest bardzo mała wartość pochodnej funkcji celu, która jest obliczana w algorytmie uczenia typu wstecznej propagacji błędu. W warstwach oddalonych od wyjścia sieci, algorytm operuje wartościami małymi, bliskimi zero, co powoduje, że algorytm jest bardzo wolno zbieżny. W sieciach o wielu warstwach ukrytych (10-15, a nawet więcej), stosuje się odcinkowe funkcje aktywacji pomimo ich formalno – matematycznych niedoskonałości. Stosując metody numeryczne w obliczeniu pochodnej, można ten problem rozwiązać, a tym samych poprawnie obliczyć pochodną funkcji aktywacji. Powyższe pozwala na obliczenie gradientu funkcji celu dla warstw głębokich uzyskując jednocześnie zadawalającą szybkość zbieżności.

EN

In the article, a new way of artificial neural network development in the classification task is introduced. In the past, neural networks with two or maximum three hidden layers were used. The sigmoid or tanh activation functions were implemented as well. These functions have very interesting properties that are very useful in the learning algorithms. Unfortunately, they have a saturation area for the small and big argument’s value. As a consequence, if the derivatives are calculated in every hidden layer, they values are very small, near zero. It has a very negative impact on the property of the learning algorithm. In this area, an algorithm is working very slowly. Two factors now have big impact on the neural network development: big databases and power microprocessors. Therefore, a deep neural network with many hidden layers could be used in practice tasks. To improve the gradient calculation a new activation function, ReLU, is used. In the article, the properties of these neural networks are studied. It is the first step to building more powerful networks that are known as Convolutional Neural Networks.

2

Modelowanie neuronalne rozwoju systemu elektroenergetycznego. Część 1. Obszary modelowania

Tchórzewski J.

Poznan University of Technology Academic Journals. Electrical Engineering

|

2015

|

No. 82

31--37

PL

W pracy zamieszczono wybrane wyniki badań dotyczące modelowania neuralnego rozwoju systemu elektroenergetycznego. Zwrócono uwagę, że w modelowaniu neuronalnym wykorzystującym sztuczne sieci neuronowe projektuje się, a nie programuje rozwój systemu. Pokazano, że wśród różnych rodzajów architektury sztucznych sieci neuronowych oraz różnych reguł uczenia brak jest takich, które wprost odpowiadałyby naturze rozwoju SEE. Zwrócono uwagę na właściwości sieci perceptronowych, ontogenicznych oraz samorozwijających się, które możliwe są do wykorzystania przy projektowaniu i uczeniu modelu rozwoju SEE.

EN

The paper presents selected results of research on the modeling of neuronal development of the power system. It was noted that in neuronal modeling using artificial neural networks are designed, not programming system development. It is shown that among the various types of architecture of artificial neural networks and various learning rules, there is no such that directly correspond to the nature of the development of SEE. Attention was drawn to the network properties perceptron network, ontogeny network and self-evaluating network that are possible to be used in the design and development model SEE learning.

3

Sporządzanie prognoz wybranymi typami sieci neuronowych

Gryta J.

Śląskie Wiadomości Elektryczne

|

2011

|

Nr 3 (96)

15--21

PL

W artykule omówiono sporządzanie prognoz wybranymi typami sieci neuronowych z wykorzystaniem różnych algorytmów uczących oraz metodami statystycznymi. Następnie autor przedstawia wyniki prognoz uzyskane dla różnych algorytmów uczących w sieciach neutronowych MLP. We wnioskach końcowych autor podsumowuje skuteczność poszczególnych algorytmów uczących sieć typu MLP a także innych testowanych metod prognostycznych.

EN

It was presented in this paper the preparation of prognoses with selected types of the neural networks with utilization of varied teaching algorithms and with statistical methods. Then, the Author presents the results of prognosis which were obtained tor the varied teaching algorithms in the neural networks type MLP. The Author discusses in the conclusion the efficiency of each teaching algorithms in the neural networks type MLP and others testing methods of forecasting.

4

Sieci neuronowe w automatyce

Barski M., Jędruch W.

Automatyka, Elektryka, Zakłócenia

|

2011

|

Vol. 2, Nr 4

85-92

PL

Artykuł omawia podstawowe własności systemów uczących się, w szczególności sieci neuronowych, i podaje przykłady ich zastosowania w automatyce. Na wstępie przedstawia typy uczenia, struktury uczące się i algorytmy uczenia. Następnie opisuje sztuczne sieci neuronowe i ich własności oraz omawia przykładowe zastosowania. W zakończeniu szkicuje perspektywy dalszych zastosowań sieci neuronowych i innych systemów uczących się.

5

Efficient neural network architectures and Advanced training algorithms

Wilamowski B.

Zeszyty Naukowe Wydziału ETI Politechniki Gdańskiej. Technologie Informacyjne

|

2010

|

T. 18

345-352

EN

Advantages and disadvantages of various neural architectures are compared. It is shown that neural networks with connections across layers are significantly more powerful than popular MLP - Multi Layer Preceptron architectures. The most powerful are FCC Fully Connected Cascade (FCC) architectures. Unfortunately, most advanced training algorithms were developed only for popular MLP topologies and other much more powerful topologies are seldom used. The newly developed second order algorithm NBN is not only very fast and powerful, but it can train any neural network topologies. With the NBN algorithm it is possible to train close to optimal architectures which were not possible to train before.

PL

W pracy porównano zalety i wady rożnych topologii sieci neuronowych. Pokazano ze sieci neuronowe z połączeniami poprzez warstwy są znacznie bardziej efektywne niż popularne topologie MLP. Najbardziej efektywne są topologie FCC. Niestety większość zaawansowanych algorytmów uczenia zostało zaimplementowanych tylko dla popularnych topologii MLP i inne bardziej efektywne topologie są rzadko używane. Niedawno opracowany drugiego rzędu algorytm jest nie tylko bardzo szybki i efektywny, ale również umożliwia uczenie dowolnych topologii sieci neuronowych. NBN potrafi uczyć zbliżone do optymalnych architektury sieci neuronowych, których nie można było uczyć poprzednio.

6

Sterowanie układem aeroelastycznym wymuszanym okresowo

Miller M., Narkiewicz J.

Zeszyty Naukowe Politechniki Rzeszowskiej. Mechanika

|

2001

|

z. 56[186], t.1

87-94

PL

W referacie przedstawiono wykorzystanie algorytmów "uczących się" do sterowania układu aeroelastycznego wymuszanego okresowo. Obiektem sterowania był cienki, słabo wysklepiony profil z klapką na krawędzi spływu znajdujący się w nielepkim, nieściśliwym opływie dwuwymiarowym. Badania numeryczne miały na celu określenie skuteczności różnych algorytmów sterowania w dziedzinie czasu i stanowią wstęp do ich wykorzystania na stanowisku doświadczalnym.

EN

In the paper deterministic learning control algorithms were applied to simple aeroealstic system to investigate of the influence of various assumptions on their effectiveness. As a controlled system, a typical cross section model of rotor blade with trailing edge fIap is The fIap deflection angle is both a degree of freedom and a control variable. In this study the efficiency of learning controI algorithms is evaluated by numerical simulations. As a result three control algorithms were fulfilIed the requirements, the three others, although effective, were not efficient. The further investigation will concern the embedding into system an electromechanical model of sensing/actuating piezoelectric element for investigation the properties of complete aeroservoelastic system.