Wyniki wyszukiwania - BazTech

1

Global-extreme-training of specific neural networks to find laws ruling empirical data

Majewski J., Wojtyna R.

Elektronika : konstrukcje, technologie, zastosowania

|

2014

|

Vol. 55, nr 4

37-40

EN

In this paper, the problem of efficient learning specific neural networks including reciprocal activation functions of the 1/(.) type is discussed. The considered networks can be used, when applying polynomial descriptions, to create symbolic models of unknown laws governing a given set of empirical data. Coefficients of the polynomials are determined in the process of learning the network. However, the learning procedure creates problems if the polynomial order increases. Then, the encountered training difficulties result mainly from a great number of local minima that appear. Training methods based on the popular Back Propagation algorithm are usually unreliable in such situations. In this paper, we propose to apply so called Differential Evolution technique to learn our networks. An example of training one network implementing a fifth order polynomial and the achieved learning results are presented.

PL

W pracy omawiany jest problem skutecznego uczenia sieci neuronowych szczególnego rodzaju, z funkcjami aktywacji o charakterze funkcji odwrotnej typu 1/(.). Rozpatrywane sieci mogą służyć, przy wykorzystaniu wielomianów, do tworzenia modeli symbolicznych nieznanych praw rządzących określonym zbiorem danych empirycznych. Współczynniki wielomianów są wyznaczane w procesie uczenia sieci. Procedura uczenia stwarza jednak problemy, gdy rząd wielomianu wzrasta. Występujące wtedy trudności z uczeniem wynikają głównie z dużej liczby pojawiających się ekstremów lokalnych. W takich sytuacjach popularna metoda wstecznej propagacji błędu zwykle zawodzi. W pracy zaproponowano użycie tzw. Techniki ewolucji różnicowej do uczenia naszych sieci. W artykule przedstawiono przykład uczenia sieci implementującej wielomian piątego rzędu oraz uzyskane wyniki uczenia.

2

Law discovery perceptrons and way of their learning

Majewski J, Wojtyna R.

Journal of Applied Computer Science

|

2013

|

Vol. 21, nr 1

71--87

EN

The problem of utilizing atypical neural networks to create a symbolic description of rules governing a set of empirical data is considered. We propose to use fractional–rational or polynomial functions as a versatile tool to describe the unknown empirical–data rules. Our aim is to transform basic forms of these functions to others, suitable for neural implementations, i.e. by means of special–type perceptrons capable of determining the function coefficients in a way of learning the perceptrons. We discuss the issue of effective learning such networks. Important elements in improving the learning efficiency are: a) performing some transformations of the fractional–rational or polynomial functions; b) introducing some additional parameters into them; c) realizing a complex–valued training. These steps enable to eliminate numerical operations on complex numbers from the learning procedure despite the fact that some parameters of the functions are complex–valued ones and are varied in the learning process. Moreover, the made steps lead to eliminating from the training process time consuming operations like using activation functions of the ln(.) and exp(.) type. The proposed approach has proved to be a successful way to increase the learning speed and improve its robustness. We show how the transformations and the additional parameters can be applied to modify one–dimensional fractional–rational as well as one–dimensional polynomial expressions. Perceptron schemes resulting from the obtained expressions are also presented. Furthermore, we discuss properties of the applied learning method and demonstrate the learning effects.

3

Perceptron with reciprocal activation functions to implement polynomial relationships

Majewski J., Wojtyna R.

Elektronika : konstrukcje, technologie, zastosowania

|

2012

|

Vol. 53, nr 5

14-16

EN

In this paper, a possibility of discovering laws governing empirical data whose interrelations can be expressed in a multidimensional polynomial form is considered. A novel atypical perceptron with reciprocal type activation functions is proposed. This perceptron implements the polynomial relation and enables determining the polynomial coefficients by training the perceptron. The perceptron is simple and attractive to model intricate problems with many parameters. Such a situation takes place, among others, in calibration some measurement Instruments. Superiority of our approach over other methods of the law discovery is that it can better coup with a great number of dimensions of the describing polynomial.

PL

W pracy omawiana jest możliwość wykrywania reguł rządzących danymi empirycznymi, których wewnętrzne związki można wyrazić w postaci wielomianu wielowymiarowego. Zaproponowano nietypowy, nowatorski perceptron z funkcjami aktywacji typu 1/x. Perceptron ten implementuje zależności typu wielomianowego i umożliwia wyznaczenie współczynników wielomianu przez uczenie perceptronu. Jest to prosty perceptron, atrakcyjny w modelowaniu złożonych problemów z wieloma parametrami. Z taką sytuacją mamy do czynienia, między innymi, przy kalibracji niektórych przyrządów pomiarowych. Wyższość naszego podejścia nad innymi metodami wykrywania tych reguł polega na tym, że pozwala ono lepiej radzić sobie z dużą liczbą wymiarów wielomianu opisującego zbiór danych empirycznych.

4

Special neural networks for finding symbolic relationships between empirical data

Majewski J., Wojtyna R. R.

Elektronika : konstrukcje, technologie, zastosowania

|

2011

|

Vol. 52, nr 5

123-126

EN

In this paper, a possibility of discovering laws governing empirical data by means of special type neural networks is discussed. We outline main idea and present new networks suitable for this task. The network presentation is combined with a preliminary classification of the applied symbolic relationships used to describe a given numerical data. We also show what operators can play a role of activation functions and where in the network they should be placed to make the network suitable to serve as the data law discoverer. Main advantages and drawbacks of the presented networks are outlined. A problem of successful learning networks of this type is also discussed and two learning examples demonstrated.

PL

W pracy omawiana jest możliwość odkrywania reguł rządzących danymi empirycznymi za pomocą sieci neuronowych specjalnego typu. Nakreślona jest główna idea i przedstawiono nowe sieci, odpowiednie do tego zadania. Prezentacja sieci jest połączona ze wstępną klasyfikacją stosowanych relacji symbolicznych, używanych do opisu posiadanych danych numerycznych. Zostało ponadto pokazane, jakie operatory mogą pełnić rolę funkcji aktywacji i gdzie w sieci powinny być umiejscowione, by sieć mogła służyć, jako wykrywacz reguł rządzących tymi danymi. Przedstawiono w skrócie najważniejsze zalety i wady prezentowanych sieci. Omówiono także problem skutecznego uczenia sieci tego typu i podano dwa przykłady takiego uczenia.