Global-extreme-training of specific neural networks to find laws ruling empirical data

• Autorzy: Majewski J. , Wojtyna R.

Identyfikatory

DOI

10.15199/ELE-2014-008

Warianty tytułu

PL

Oparte na ekstremum globalnym uczenie sieci neuronowych przystosowanych do wykrywania reguł rządzących danymi empirycznymi

• Konferencja: IEEE SPA’ 2013 Signal Processing : Algorithms, Architectures, Arrangements, and Applications (17 ; 26-28.10. 2013 ; Poznań, Poland)
• Języki publikacji: EN

Abstrakty

EN

In this paper, the problem of efficient learning specific neural networks including reciprocal activation functions of the 1/(.) type is discussed. The considered networks can be used, when applying polynomial descriptions, to create symbolic models of unknown laws governing a given set of empirical data. Coefficients of the polynomials are determined in the process of learning the network. However, the learning procedure creates problems if the polynomial order increases. Then, the encountered training difficulties result mainly from a great number of local minima that appear. Training methods based on the popular Back Propagation algorithm are usually unreliable in such situations. In this paper, we propose to apply so called Differential Evolution technique to learn our networks. An example of training one network implementing a fifth order polynomial and the achieved learning results are presented.

PL

W pracy omawiany jest problem skutecznego uczenia sieci neuronowych szczególnego rodzaju, z funkcjami aktywacji o charakterze funkcji odwrotnej typu 1/(.). Rozpatrywane sieci mogą służyć, przy wykorzystaniu wielomianów, do tworzenia modeli symbolicznych nieznanych praw rządzących określonym zbiorem danych empirycznych. Współczynniki wielomianów są wyznaczane w procesie uczenia sieci. Procedura uczenia stwarza jednak problemy, gdy rząd wielomianu wzrasta. Występujące wtedy trudności z uczeniem wynikają głównie z dużej liczby pojawiających się ekstremów lokalnych. W takich sytuacjach popularna metoda wstecznej propagacji błędu zwykle zawodzi. W pracy zaproponowano użycie tzw. Techniki ewolucji różnicowej do uczenia naszych sieci. W artykule przedstawiono przykład uczenia sieci implementującej wielomian piątego rzędu oraz uzyskane wyniki uczenia.

Słowa kluczowe

EN

neural networks; global training; rules governing numerical data; symbolic description methods

PL

sieci neuronowe; uczenie globalne; reguły rządzące danymi numerycznymi; dane numeryczne; metody opisu symbolicznego; opis symboliczny

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2014
• Tom: Vol. 55, nr 4
• Strony: 37--40
• Opis fizyczny: Bibliogr. 12 poz., wykr.

Twórcy

autor

Majewski J.

• University of Technology and Life Sciences, Bydgoszcz

autor

Wojtyna R.

• University of Technology and Life Sciences, Bydgoszcz

Bibliografia

• [1] Durbin R., Rumelhart D.: Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks. Neural Computation, Vol. 1, pp. 133-142, 1989.
• [2] Tickle A. B., R., et al.: The truth will come to light: Directions and challenges in extracting the knowledge embedded within trained artificial neural networks. IEEE Trans. on Neural Networks, Vol. 9, No. 6, November 1998.
• [3] Fu L. M.: Knowledge discovery by inductive neural networks. IEEE Trans. On Knowledge and Data Engineering, Vol. 11, No. 6, November/December 1999.
• [4] Nakano R., Saito K.: Discovery of nominally conditioned polynomials using neural networks, vector quantizers and decision trees. Springer-Verlag, Lecture Notes in Computer Science, Vol. 1967/2000, pp. 325-329, 2000.
• [5] Washio T., Motoda H., Niwa Y.: Discovering admissible simultaneous equation models from observed data. LNC S 2167, Springer-Verlag, Berlin Heidelberg, pp. 539-551, 2001.
• [6] Majewski J., Wojtyna R.: Taking laws out of trained neural networks. IEEE Workshop SPA 2010 (Signal Processing - Algorithms, Architectures, Arrangements and Applications), pp. 21-24, 2010.
• [7] Majewski J., Wojtyna R.: Extracting symbolic function expressions by means of neural networks. Springer-Verlag, series: Advances in intelligent and soft computing, pp. 323-330, 2010.
• [8] Majewski J., Wojtyna R.: Special neural networks for finding symbolic relationships between numerical data.Elektronika, Nr 5/2011.
• [9] Majewski J., Wojtyna R.: Implementing polynomial expressions by means of reciprocal-function-based neural networks: IEEE Workshop SPA 2010 (Signal Processing - Algorithms, Architectures, Arrangements and Applications), pp. 22-26, 2011.
• [10] Majewski J., Wojtyna R.: Novel law discovery perceptrons with improved efficiency of network learning. IEEE Conference NT AV/SPA2012 (New Trends in Audio & Video/Signal Processing Algorithms, Architectures, Arrangements & Applications), pp. 251-255, Łódź 2012.
• [11] Kim C.-T., Lee J.-J.: Training two-layered feedforward networks with variable projection method. IEEE Trans. Neural Networks, vol. 19, No. 2, pp. 371-375, 2008.
• [12] Wilamowski B. M., Yu H.: Improved computation for Levenberg-Marquardt training. IEEE Trans. Neural Networks, vol. 21, No. 6, pp. 930-937, 2010.