Wyniki wyszukiwania - BazTech

Ograniczanie wyników

Znaleziono wyników: 2

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: symbolic description methods

Sortuj według:

Ogranicz wyniki do:

Global-extreme-training of specific neural networks to find laws ruling empirical data

Majewski J., Wojtyna R.

Elektronika : konstrukcje, technologie, zastosowania

2014

Vol. 55, nr 4

37-40

In this paper, the problem of efficient learning specific neural networks including reciprocal activation functions of the 1/(.) type is discussed. The considered networks can be used, when applying polynomial descriptions, to create symbolic models of unknown laws governing a given set of empirical data. Coefficients of the polynomials are determined in the process of learning the network. However, the learning procedure creates problems if the polynomial order increases. Then, the encountered training difficulties result mainly from a great number of local minima that appear. Training methods based on the popular Back Propagation algorithm are usually unreliable in such situations. In this paper, we propose to apply so called Differential Evolution technique to learn our networks. An example of training one network implementing a fifth order polynomial and the achieved learning results are presented.

W pracy omawiany jest problem skutecznego uczenia sieci neuronowych szczególnego rodzaju, z funkcjami aktywacji o charakterze funkcji odwrotnej typu 1/(.). Rozpatrywane sieci mogą służyć, przy wykorzystaniu wielomianów, do tworzenia modeli symbolicznych nieznanych praw rządzących określonym zbiorem danych empirycznych. Współczynniki wielomianów są wyznaczane w procesie uczenia sieci. Procedura uczenia stwarza jednak problemy, gdy rząd wielomianu wzrasta. Występujące wtedy trudności z uczeniem wynikają głównie z dużej liczby pojawiających się ekstremów lokalnych. W takich sytuacjach popularna metoda wstecznej propagacji błędu zwykle zawodzi. W pracy zaproponowano użycie tzw. Techniki ewolucji różnicowej do uczenia naszych sieci. W artykule przedstawiono przykład uczenia sieci implementującej wielomian piątego rzędu oraz uzyskane wyniki uczenia.

Law discovery perceptrons and way of their learning

Majewski J, Wojtyna R.

Journal of Applied Computer Science

2013

Vol. 21, nr 1

71--87

The problem of utilizing atypical neural networks to create a symbolic description of rules governing a set of empirical data is considered. We propose to use fractional–rational or polynomial functions as a versatile tool to describe the unknown empirical–data rules. Our aim is to transform basic forms of these functions to others, suitable for neural implementations, i.e. by means of special–type perceptrons capable of determining the function coefficients in a way of learning the perceptrons. We discuss the issue of effective learning such networks. Important elements in improving the learning efficiency are: a) performing some transformations of the fractional–rational or polynomial functions; b) introducing some additional parameters into them; c) realizing a complex–valued training. These steps enable to eliminate numerical operations on complex numbers from the learning procedure despite the fact that some parameters of the functions are complex–valued ones and are varied in the learning process. Moreover, the made steps lead to eliminating from the training process time consuming operations like using activation functions of the ln(.) and exp(.) type. The proposed approach has proved to be a successful way to increase the learning speed and improve its robustness. We show how the transformations and the additional parameters can be applied to modify one–dimensional fractional–rational as well as one–dimensional polynomial expressions. Perceptron schemes resulting from the obtained expressions are also presented. Furthermore, we discuss properties of the applied learning method and demonstrate the learning effects.