PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
Tytuł artykułu

Evolution method aided by knowledge base to improve learning effects of some neural networks

Identyfikatory
Warianty tytułu
PL
Wspomagana bazą wiedzy metoda ewolucyjna polepszająca efekty uczenia niektórych sieci neuronowych
Języki publikacji
EN
Abstrakty
EN
In this paper, improvement of learning atypical networks (an increase of precision, speed and reliability), used to determine coefficients of functions describing hidden laws acting in a set of empirical data is presented. The learning concerns networks, which are based on rational functions. Proper expression of the used rational function is required. A new element of our approach to the problem is introducing to Differential Evolution (DE) technique some knowledge base, which improves this method. Proper rules are introduces to this base in the first stage of the learning process. In the second stage, these rules are used to eliminate incorrect learning effects. The observed learning improvements are evident when dealing with empirical data in the presence of noise.
PL
W pracy przedstawiono sposób na ulepszenie uczenia nietypowych sieci neuronowych (zwiększanie precyzji, prędkości i niezawodności), wykorzystywanych do wyznaczania współczynników funkcji opisujących ukryte prawa obowiązujące w zbiorze danych empirycznych. Uczenie dotyczy sieci, które bazują na funkcjach wymiernych. Wymagane jest odpowiednie wyrażenie użytej funkcji wymiernej. Nowym elementem w naszym podejściu to tego problemu jest wprowadzenie do techniki ewolucji różnicowej (DE) pewnej bazy wiedzy, która ulepsza tę metodę. W pierwszej fazie uczenia do bazy wprowadzane są odpowiednie reguły. W drugiej fazie reguły te są wykorzystywane do wyeliminowania nieprawidłowych efektów uczenia. Zaobserwowana poprawa wyników uczenia jest wyraźna w przypadku zaszumionych danych empirycznych.
Rocznik
Strony
28--30
Opis fizyczny
Bibliogr. 19 poz., rys., wykr.
Twórcy
autor
  • University of Technology and Life Sciences, Bydgoszcz
autor
  • University of Technology and Life Sciences, Bydgoszcz
Bibliografia
  • [1] R. Durbin and D. Rumelhart, “Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks”, Neural Computation, Vol. 1, pp. 133-142, 1989.
  • [2] A. B. Tickle, R. Andrews, M. Golea, J. Diederich, “The truth will come to light: Directions and challenges in extracting the knowledge embedded within trained artificial neural networks”, IEEE Trans. on Neural Networks, Vol. 9, No. 6, November 1998.
  • [3] L. M. Fu., “Knowledge discovery by inductive neural networks”, IEEE Trans. On Knowledge and Data Engineering, Vol. 11, No. 6, November/December 1999.
  • [4] B. Falkenhainer and R. Michalski. “Integrating quantitative and qualitative discovery in the abacus system”, in Y. Kodratoff and R. Michalski, “Machine learning: An artificial intelligence approach”, Volume III, pages 153-190, Morgan Kaufmann, San Mateo, CA, 1990.
  • [5] K. Saito and R. Nakano, “Law discovery using neural networks”, Proc. of the 15th International Joint Conference on Artificial Intelligence (IJCAI97), pp. 1078-1083, 1997.
  • [6] R. Nakano and K. Saito, “Discovery of a set of nominally conditioned polynomials”, Int. Conference on Discovery Science, LNAI 1721, pp. 287-298, 1999.
  • [7] A. Ismail and A. P. Engelbrecht, “Training product units in feedforward neural networks using particle swarm optimization”, In: Development and Practice of Artificial Intelligence Techniques, V.B. Bajic, D. Sha (eds), Proceedings of the International Conference on Artificial Intelligence, Durban, South Africa, pp. 36-40, 1999.
  • [8] F. van den Bergh, “Particle swarm weight initialization multi-layer perceptron artificial neural network”, ICAI, Durban, South Africa, 1999.
  • [9] K. Saito and R. Nakano, “Discovery of relevant weights by minimizing cross-validation error”, 4th Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD2000), pp. 372-375, 2000.
  • [10] R. Nakano and K. Saito, “Discovery of nominally conditioned polynomials using neural networks, vector quantizers and decision trees”, Springer-Verlag, Lecture Notes in Computer Science, Vol. 1967/2000, pp. 325-329, 2000.
  • [11] T. Washio, H. Motoda, Y. Niwa, “Discovering admissible simultaneous equation models from observed data”, LNCS 2167, Springer-Verlag, Berlin Heidelberg, pp. 539-551, 2001.
  • [12] J. Majewski, R. Wojtyna, “Taking laws out of trained neural networks”, IEEE Workshop SPA 2010 (Signal Processing - Algorithms, Architectures, Arrangements and Applications), pp. 21-24, 2010.
  • [13] J. Majewski, R. Wojtyna, “Extracting symbolic function expressions by means of neural networks”, Springer-Verlag, series: Advances in intelligent and soft computing, pp. 323-330, 2010.
  • [14] A. K. Qin, V. L. Huang, and P. N. Suganthan, “Differential evolution algorithm with strategy adaptation for global numerical optimization,”, IEEE Transactions on Evolutionary Computation, vol. 13, pp. 398-417, 2009.
  • [15] J. Majewski, R. Wojtyna, “Implementing polynomial expressions by means of reciprocal-function-based neural networks”, IEEE Workshop SPA 2010 (Signal Processing - Algorithms, Architectures, Arrangements and Applications), pp. 22-26, 2011.
  • [16] J. Majewski, R. Wojtyna, “Application of Global-Extreme-Learning to Law-Discovery Neural Networks”, IEEE Conference Proceedings SPA2013 (Signal Processing - Algorithms, Architectures, Arrangements and Applications), pp. 56-60, Poznań 2013.
  • [17] M. S. Apostolopoulou, D.G. Sotiropoulos, I.E. Livieris and P. Pintelas, “A memoryless BFGS neural network training algorithm”, 2009 7th IEEE International Conference on Industrial Informatics, pp. 216-221, INDIN 2009.
  • [18] C.-T. Kim and J.-J. Lee, “Training two-layered feed forward networks with variable projection method”, IEEE Trans. Neural Networks, vol. 19, no. 2, pp. 371-375, 2008.
  • [19] B. M. Wilamowski and H. Yu, “Improved computation for1Levenberg-Marquardt training”, IEEE Trans. Neural Networks, vol. 21, no. 6, pp. 930-937, 2010.
Typ dokumentu
Bibliografia
Identyfikator YADDA
bwmeta1.element.baztech-58ba1730-ac68-45be-9433-1a542db89917
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.