PL
 |
EN
Preferencje help
Polish version English version Język
Widoczny [Schowaj] Abstrakt
Liczba wyników

Znaleziono wyników: 14

Liczba wyników na stronie
first rewind previous Strona / 1 next fast forward last
Wyniki wyszukiwania
help Sortuj według:

help Ogranicz wyniki do:
first rewind previous Strona / 1 next fast forward last
1
Content available Uczenie wielowarstwowych szerokich sieci neuronowych z funkcjami aktywacji typu ReLu w zadaniach klasyfikacji
Płaczek S., Płaczek A.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2018
|
No. 96
47--58
PL
W artykule przedstawiono obecnie nowy kierunek rozwoju Sztucznych Sieci Neuronowych w zadaniach aproksymacji i klasyfikacji. W praktyce stosowano sieci o jednej, maksimum dwóch warstwach ukrytych oraz funkcjach aktywacji typu sigmoid lub tanh. Funkcje te charakteryzują się małą zmiennością wartości dla większych wartości zmiennej wejściowej (występują obszary nasycenia) . Konsekwencją tego jest bardzo mała wartość pochodnej funkcji celu, która jest obliczana w algorytmie uczenia typu wstecznej propagacji błędu. W warstwach oddalonych od wyjścia sieci, algorytm operuje wartościami małymi, bliskimi zero, co powoduje, że algorytm jest bardzo wolno zbieżny. W sieciach o wielu warstwach ukrytych (10-15, a nawet więcej), stosuje się odcinkowe funkcje aktywacji pomimo ich formalno – matematycznych niedoskonałości. Stosując metody numeryczne w obliczeniu pochodnej, można ten problem rozwiązać, a tym samych poprawnie obliczyć pochodną funkcji aktywacji. Powyższe pozwala na obliczenie gradientu funkcji celu dla warstw głębokich uzyskując jednocześnie zadawalającą szybkość zbieżności.
EN
In the article, a new way of artificial neural network development in the classification task is introduced. In the past, neural networks with two or maximum three hidden layers were used. The sigmoid or tanh activation functions were implemented as well. These functions have very interesting properties that are very useful in the learning algorithms. Unfortunately, they have a saturation area for the small and big argument’s value. As a consequence, if the derivatives are calculated in every hidden layer, they values are very small, near zero. It has a very negative impact on the property of the learning algorithm. In this area, an algorithm is working very slowly. Two factors now have big impact on the neural network development: big databases and power microprocessors. Therefore, a deep neural network with many hidden layers could be used in practice tasks. To improve the gradient calculation a new activation function, ReLU, is used. In the article, the properties of these neural networks are studied. It is the first step to building more powerful networks that are known as Convolutional Neural Networks.
2
Content available Porównanie charakterystyk wydajnościowych algorytmu uczenia dla Standardowej Sieci Neuronowej oraz sieci zdekomponowanej i koordynowanej metodą prognozowania wartości interfejsów
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2018
|
No. 96
59--70
PL
Standardową Sieć Neuronową zdefiniujemy jako zintegrowany moduł składający się z wielu warstw, bez wewnętrznych sprzężeń zwrotnych i pełnym pokryciem wag w poszczególnych warstwach. Warstwa składa się z macierzy wag łączących wektor wejściowy X z wewnętrznym wektorem U, który z kolei przetwarzany jest przez funkcję aktywacji tworząc wektor wyjściowy Y. Algorytmy uczenia tak zdefiniowanej sieci są znane. Napotykają one jednak na określone problemy numeryczne związane z szybkością zbieżności do wartości minimum. W artykule proponuje się zastąpienie jedno poziomowej, wielowarstwowej sieci, siecią zdekomponowaną. Konfiguracja składa się z niezależnych modułów zawierających warstwy sieci pierwotnej oraz koordynatora. Koordynator koncepcyjnie znajduje się na drugim poziomie, Jego celem jest skoordynowanie lokalnych funkcji celu warstw w taki sposób, aby realizując swoje lokalne funkcje celu , zostało jednocześnie osiągnięte minimum globalnej funkcji celu. Sieć jako całość będzie przygotowana do realizacji zadań klasyfikacji. Porównuje się charakterystyki uczenia dwóch przedstawionych konfiguracji sieci.
EN
A Standard Neural Network is defined as an integrated module of a set of layers with both forward and full weight coefficient connections in all layers. Every layer is built by the matrix of the weight coefficients connecting an input vector X with an internal vector U, which, in the next step, is the input of the activation function, and the output vector Y is calculated. For these kinds of neural networks, the teaching algorithms are well known. Unfortunately, in an algorithm practice realization, a lot of numeric problems appear to achieve fast convergence. A lot of components have negative impacts on the entire calculation process. In the article, a decomposed network replaces a level in a multilayer network. A network is built by independent layers in the first level and the coordinator in the second. Layers have to solve their local optimization task using their own algorithms. Local solutions are coordinated by the coordinator. The coordinator, working together with the first level, is responsible for solving the global optimization task, which is laid outside the network. Finally, a network is ready to classify new input data. In the article, quality and quantity characteristics for these two networks are compared.
3
Content available Wielokryterialny dobór parametrów operatora mutacji w algorytmie ewolucyjnym uczenia sieci neuronowej
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2017
|
No. 91
175--186
PL
Implementacja Algorytmów Ewolucyjnych (AE) do zadań uczenia Sztucznych Sieci Neuronowych (SSN) nie jest zadaniem łatwym. Zastosowanie algorytmów ewolucyjnych wyeliminowało ograniczenia algorytmów gradientowych lecz niestety napotykamy na szereg nowych problemów. W artykule analizuje się dwuwarstwową sieć neuronową , w której, w charakterze genotypu przyjmuje się dwa chromosomy połączone szeregowo. Tworzy się całą populację sieci neuronowych o indywidualnych własnościach chromosomów oblicza się wartości funkcji celu oraz realizuje się proces selekcji. W proponowanym rozwiązaniu eliminuje się algorytm krzyżowania i stosuje się tylko mutację. Operator mutacji, jego parametry mogą być identyczne dla dwóch chromosomów, różne i nieskorelowane lub różne i skorelowane. W artykule analizuje się różne charakterystyki algorytmu mutacji, zalety i wady.
EN
The optimization of the learning algorithm in neural networks is not a trivial task. Considering the non–linear characteristics of the activation functions , the entire task is multidimensional and non–linear with a multimodal target function. Implementing evolutionary computing in the multimodal optimization tasks gives the developer new and effective tools for seeking the global minimum. A developer has to find optimal and simple transformation between the realization of a phenotype and a genotype. In the article, a two–layer neural network is analyzed. Two serially connected chromosomes represent the genotype. In the first step the population is created. In the main algorithm loop, a parent selection mechanism is used together with the fitness function. To evaluate the quality of evolutionary computing process different measured characteristics are used. The final results are depicted using charts and tables.
4
Content available Evolutionary computing in operational research for two-layer neural networks
Płaczek S.
Information Systems in Management
|
2017
|
Vol. 6, No. 2
119--130
EN
Considering the non-linear characteristics of the activation functions, the entire task is multidimensional and non-linear with a multimodal target function. Implementing evolutionary computing in the multimodal optimization tasks gives developers new and effective tools for seeking the global minimum. A developer has to find the optimal and simple transformation between the realization of a phenotype and a genotype. In the article, a two-layer neural network is analysed. In the first step, the population is created. In the main algorithm loop, a parent selection mechanism is used together with the fitness function. To evaluate the quality of evolutionary computing process different measured characteristics are used. The final results are depicted using charts and tables.
5
Content available Zastosowanie metod dekompozycji i koordynacji w analizie systemów elektrycznych
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2016
|
No. 86
33--44
PL
Złożone systemy najlepiej analizować dokonując wydzielenia mniejszych podsystemów, podsieci łączących się z sąsiednimi podsieciami powiązaniami wejścia i wyjścia. Każdą podsieć możemy analizować poprzez zastosowanie odpowiednich algorytmów i procedur wynikających z potrzeb globalnego zadania. W artykule proponuje się zastosowanie metod dekompozycji i koordynacji w analizie złożonych zadań. Na pierwszym poziomie występują podsieci lokalne, połączone pomiędzy sobą oraz z siecią nadrzędną interfejsami. Rozwiązania cząstkowe zależą nie tylko od wewnętrznych parametrów podsieci lecz również od wartości interfejsów. Otrzymane rezultaty musza być skoordynowane w taki sposób, aby otrzymać rozwiązanie globalnego zadania.
EN
The best way to analyze the complex system is to divide primary system into smaller set of subsystems or subnetworks which are connected with others using input and output signals. These connection one could be known as interfaces. Every subnetwork (local structure) could be analyze implementing appropriate procedure or algorithm according global task needs. In the article the decomposition and coordination methods are implemented to analyze complex task. On the first layer local subnetworks or subtasks are connected one with others and upper level subnetwork by interfaces. Partial solutions depend not only of the internal subnetwork’s’ parameters but also of the interfaces value. Receiving results have to be coordinated in the way to achieve global task solution.
6
Content available Implementing evolutionary algorithm into training single-layer artificial neural network in classification task
Płaczek S.
Information Systems in Management
|
2016
|
Vol. 5, No. 3
377--388
EN
The article proposes implementing a modified version of genetic algorithm in a neural network, what in literature is known as “evolutionary algorithm” or “evolutionary programming”. An Evolutionary Algorithm is a probabilistic algorithm that works in a set of weight variability of neurons and seeks the optimal value solution within a population of individuals, avoiding the local maximum. For chromosomes the real value variables and matrix structure are proposed to a single-layer neural network. Particular emphasis is put on mutation and crossover algorithms. What is also important in both genetic and evolutionary algorithms is the selection process. In the calculation example, the implementation of theoretical considerations to a classification task is demonstrated.
7
Content available Decomposition and the interaction decoupling mode in electrical systems analysis
Płaczek S.
Computer Applications in Electrical Engineering
|
2016
|
Vol. 14
187--200
EN
Decomposition is the best method to analyze complicated systems. The whole system is divided into a set of smaller parts, i.e. subsystems. These items are connected to each other by input and output interfaces. Every subsystem could be analyzed using separate algorithms and procedures that are more suitable for solving the local task. In the article, a complicated electrical system is decomposed and the interaction decoupling mode is used to coordinate the local task solution. Each of the first–level subsystems, such as an optimization problem, is defined completely independently from the other problems. The subsystems are instructed to select the local input as well as the local interface output in an optimal fashion. The local task's solution depends not only on the internal subsystems’ parameters, but on the value of interfaces too. To achieve the global task solution, local tasks have to be coordinated using an appropriate coordination principle.
8
Content available Decomposition and the principle of interaction prediction in hierarchical structure of learning algorithm of ANN
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2015
|
No. 84
113--120
EN
For the most popular ANN structure with one hidden layer, decomposition is done into two sub-networks. These sub-networks form the first level of the hierarchical structure. On the second level, the coordinator is working with its own target function. In the hierarchical systems theory three coordination strategies are defined. For the ANN learning algorithm the most appropriate is the coordination by the principle of interaction prediction. Implementing an off-line algorithm in all sub-networks makes the process of weight coefficient modification more stable. In the article, the quality and quantity characteristics of a coordination algorithm and the result of the learning algorithm for all sub-networks are shown. Consequently, the primary ANN achieves the global minimum during the learning process.
9
Content available “P” coordinator scheme and interaction prediction principle in hierarchical structure of ANN
Płaczek S.
Computer Applications in Electrical Engineering
|
2015
|
Vol. 13
319--329
EN
When implementing the hierarchical structure [4][5] of the learning algorithm of an Artificial Neural Network (ANN), two very important questions have to be solved. The first one is connected with the selection of the broad coordination principle. In [1], three different principles are described. They vary with regard to the degree of freedom for the first-level tasks. The second problem is connected with the coordinator structure or, in other words, the coordination algorithm. In the regulation theory, the process of finding the coordinator structure is known as the feedback principle. The simplest regulator structure (scheme) is known as the proportional regulator – “P” regulator. In the article, the regulator structure and its parameters are analysed as well as their impact on the learning process quality.
10
Content available Selected problem of structure optimization for Artificial Neural Networks with forward connections
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2014
|
No. 80
191--197
EN
The problem of Artificial Neural Network (ANN) structure optimization related to the definition of optimal number of hidden layers and distribution of neurons between layers depending on selected optimization criterion and inflicted constrains. The article presents the resolution of the optimization problem. The function describing the number of subspaces is given, and the minimum number of layers as well as the distribution of neurons between layers shall be found.
11
Content available Dekompozycja hierarchicznej struktury sztucznej sieci neuronowej i algorytm koordynacji
Płaczek S.
Poznan University of Technology Academic Journals. Electrical Engineering
|
2014
|
No. 80
223--230
PL
W artykule zaproponowano przeprowadzenie dekompozycji struktury sieci na dwie warstwy. W warstwie I poziomu znajduje się N1 niepowiązanych podsieci. Natomiast w warstwie II poziomu (nadrzędnej) znajduje się podsieć warstwy ukrytej. Warstwy te powiązane są sygnałami V1, V2, które pozwalają na zastosowanie niezależnych algorytmów uczenia dla warstwy I oraz II. Prosty algorytm koordynacji umożliwia obliczenie wartości sygnałów między warstwowych, a tym samym osiągnięcie minimum globalnej funkcji celu.
EN
The article presents decomposition of Artificial Network Structure into two layers. Layer one (lower one) consist of N1 independent sub layers. The second layer (upper one) is a hidden layer. Vectors V1 and V2 are introduced as coordinator between two layers. The coordinator uses different algorithms connecting vectors V1 and V2. In this way, the coordinator is able to coordinate two independent learning algorithms for each layer. The coordination algorithm was described and final learning results are presented. Presented results of an on - line learning algorithm were used for both, the first and the second layer. For the future study, an off-line learning algorithm will be used.
12
Content available remote Analysis of Multi Layer Neural Networks with Direct and Cross Forward Connection
Płaczek S., Adhikari B.
Fundamenta Informaticae
|
2014
|
Vol. 133, nr 2/3
227--240
EN
Artificial Neural Networks are of much interest for many practical reasons. As of today, they are widely implemented. Of many possible ANNs, the most widely used one is the backpropagation model with direct connection. In this model the input layer is fed with input data and each subsequent layers are fed with the output of preceding layer. This model can be extended by feeding the input data to each layer. This article argues that this new model, named Cross Forward Connection, is optimal than the widely used Direct Connection.
13
Content available A selected problem of the structure optimization and decomposition of the artificial neural network with cross-forward connections
Płaczek S.
Computer Applications in Electrical Engineering
|
2014
|
Vol. 12
597--608
EN
The problem of an Artificial Neural Network (ANN) structure optimization is related to the definition of the optimal number of hidden layers and the distribution of neurons between layers depending on a selected optimization criterion and inflicted constrains. Using a hierarchical structure is an accepted default way of defining an ANN structure. The following article presents the resolution of the optimization problem. The function describing the number of subspaces is given, and the minimum number of layers, as well as the distribution of neurons between layers, shall be found. The structure can be described using different methods, mathematical tools, and software or/and technical implementation. The ANN decomposition into hidden and output layers - the first step to build a two-level learning algorithm for cross-forward connections structure - is described, too.
14
Zastosowanie sztucznych sieci neuronowych w analizie danych towarzystwa ubezpieczeń
Płaczek S.
Studia Informatica
|
2013
|
Vol. 34, nr 2B
263--274
PL
Na wstępie artykułu krótko scharakteryzowano specyfikę procesów biznesowych w towarzystwie ubezpieczeń. Duże ilości danych zawarte w bazach danych wykorzystano do analizy dwóch podstawowych procesów – przypisu składki i realizacji świadczeń. Do zadań prognozy krótkoterminowej zastosowano sztuczną sieć neuronową. Scharakteryzowano etapy wstępnego przetwarzania danych, wyniki uczenia sieci oraz omówiono końcowe wnioski.
EN
In the beginning, business processes in Insurance Company were briefly characterized. Huge amounts of data included in data bases were used to analyze two business processes – sales income and insurance benefit. For short forecasting tasks an artificial neural network was used. Introductory stages of data processing and network learning results were characterized. At the end, final conclusions were discussed.
first rewind previous Strona / 1 next fast forward last
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.