Perceptron with reciprocal activation functions to implement polynomial relationships

• Autorzy: Majewski J. , Wojtyna R.

Warianty tytułu

PL

Perceptron z funkcjami aktywacji typu 1/x do implementacji zależności wielomianowych

• Języki publikacji: EN

Abstrakty

EN

In this paper, a possibility of discovering laws governing empirical data whose interrelations can be expressed in a multidimensional polynomial form is considered. A novel atypical perceptron with reciprocal type activation functions is proposed. This perceptron implements the polynomial relation and enables determining the polynomial coefficients by training the perceptron. The perceptron is simple and attractive to model intricate problems with many parameters. Such a situation takes place, among others, in calibration some measurement Instruments. Superiority of our approach over other methods of the law discovery is that it can better coup with a great number of dimensions of the describing polynomial.

PL

W pracy omawiana jest możliwość wykrywania reguł rządzących danymi empirycznymi, których wewnętrzne związki można wyrazić w postaci wielomianu wielowymiarowego. Zaproponowano nietypowy, nowatorski perceptron z funkcjami aktywacji typu 1/x. Perceptron ten implementuje zależności typu wielomianowego i umożliwia wyznaczenie współczynników wielomianu przez uczenie perceptronu. Jest to prosty perceptron, atrakcyjny w modelowaniu złożonych problemów z wieloma parametrami. Z taką sytuacją mamy do czynienia, między innymi, przy kalibracji niektórych przyrządów pomiarowych. Wyższość naszego podejścia nad innymi metodami wykrywania tych reguł polega na tym, że pozwala ono lepiej radzić sobie z dużą liczbą wymiarów wielomianu opisującego zbiór danych empirycznych.

Słowa kluczowe

EN

discovering laws governing empirical data; symbolic description; neural networks

PL

wykrywanie reguł rządzących danymi empirycznymi; opis symboliczny; sieci neuronowe

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Elektronika : konstrukcje, technologie, zastosowania
• Rocznik: 2012
• Tom: Vol. 53, nr 5
• Strony: 14--16
• Opis fizyczny: Bibliogr. 12 poz.

Twórcy

autor

Majewski J.

autor

Wojtyna R.

• University of Technology and Life Sciences, Bydgoszcz

Bibliografia

• [1] R. Durbin, D. Rumelhart, Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks, Neural Computation, Vol. 1, pp. 133-142, 1989.
• [2] K. Saito and R. Nakano, Law discovery using neural networks, Proc. of the 15th International Joint Conference on Artificial Intelligence (IJCAI97), pp. 1078-1083, 1997.
• [3] K. Saito and R. Nakano, Discovery of relevant weights by minimizing cross-validation error, 4th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD2000), pp. 372-375, 2000.
• [4] R. Nakano and K. Saito, Discovery of Nominally Conditioned Polynomials using Neural Networks, Vector Quantizers and Decision Trees, Springer-Verlag, Lecture Notes in Computer Science. Vol. 1967/2000, pp. 325-329, 2000.
• [5] A. B. Tickle, R. Andrews, M. Golea, J. Diederich, The truth will come to light: Directions and challenges in extracting the knowledge embedded within trained artificial neural networks, IEEE Trans. on Neural Networks, Vol. 9, No. 6, November 1998.
• [6] L. M. Fu., Knowledge Discovery by inductive neural networks, IEEE Trans. on Knowledge and Data Engineering, Vol. 11, No. 6, November/December 1999.
• [7] A. Ismail and A. P. Engelbrecht, Paining product units in feedforward neural networks using Particle Swarm Optimization, In: Development and Practice of Artificial Intelligence Techniques, V. B. Bajic, D. Sha (eds), Proceedings of the International Conference on Artificial Intelligence, Durban, South Africa, pp. 36-40, 1999.
• [8] T. Washio, H. Motoda, Y. Niwa, Discovering admissible simultaneous equation models from observed data, LNCS 2167, Springer-Verlag, Berlin Heidelberg, pp. 539-551, 2001.
• [9] J. Majewski, R. Wojtyna, "Taking laws out of trained neural networks", IEEE Workshop SPA2010 (Signal Processing-Algorithms, Architectures, Arrangements and Applications), pp. 21-24, 2010.
• [10] J. Majewski, R. Wojtyna, Extracting symbolic function expressions by means of neural networks, Springer-Verlag, series: Advances in intelligent and soft computing, pp. 323-330, 2010.
• [11] J. Majewski, R. Wojtyna, Special neural networks for finding symbolic relationships between numerical data, Elektronika, Nr 5/2011.
• [12] M. S. Apostolopoulou, D. G. Sotiropoulos, I. E. Livieris and P. Pintelas, A memoryless BFGS neural network training algorithm, 2009 7th IEEE International Conference on Industrial Informatics, pp. 216-221, INDIN2009.