Training neural networks with a hybrid differential evolution algorithm

• Autorzy: Bandurski K. , Kwedlo W.

Warianty tytułu

PL

Uczenie sieci neuronowych hybrydowym algorytmem opartym na differential evolution

• Języki publikacji: PL

Abstrakty

PL

W artykule przedstawiono nową, hybrydową metodę uczenia sieci neuronowych, łączącą w sobie algorytm Differential Evolution z podejściem gradientowym. W nowej metodzie po każdej generacji algorytmu Differential Evolution, każde nowe rozwiązanie, powstałe w wyniu działania operatorów krzyżowania i mutacji, poddawane jest kilku iteracjom algorytmu optymalizacji wykorzystującego metodę gradientów sprzężonych.Wyniki eksperymentów wskazują, że nowy, hybrydowy algorytm ma szybszą zbieżność niż standardowy algorytm Differential Evolution. Mimo, iż zbieżność ta jest wolniejsza, niż w przypadku klasycznych metod gradientowych, algorytm hybrydowy potrafi znacznie lepiej unikać minimów lokalnych.

EN

A new hybrid method for feed forward neural network training, which combines differential evolution algorithm with a gradient-based approach is proposed. In the method, after each generation of differential evolution, a number of iterations of the conjugate gradient optimization algorithm is applied to each new solution created by the mutation and crossover operators. The experimental results show, that in comparison to the standard differential evolution the hybrid algorithm converges faster. Although this convergence is slower than that of classical gradient based methods, the hybrid algorithm has significantly better capability of avoiding local optima.

Słowa kluczowe

PL

sieci neuronowe; differential evolution; gradienty sprzężone; minima lokalne

EN

neural networks; differential evolution; conjugate gradients; local minima

• Wydawca: Oficyna Wydawnicza Politechniki Białostockiej
• Czasopismo: Zeszyty Naukowe Politechniki Białostockiej. Informatyka
• Rocznik: 2009
• Tom: Z. 4
• Strony: 5--17
• Opis fizyczny: Bibliogr. 16 poz., Wykr.

Twórcy

autor

Bandurski K.

autor

Kwedlo W.

Bibliografia

• [1] E. H. L. Aarst and J. Korst: Simulated Annealing and Boltzmann Machines,John Wiley, 1989.
• [2] C. Blake, E. Keogh, and C. J. Merz: UCI repository of machine learning databases, University of California, Dept. of Computer Science,http://www.ics.uci.edu/»mlearn/MLRepository.html, 1998.
• [3] J. Brest, S.Greiner, B. Boskovic, M. Mernik, and V.Zumer: Self-adapting control parameters in differential evolution: A comparative study on numerical benchmark problems, IEEE Transactions on Evolutionary Computation, 10(6):646–657, 2006.
• [4] C. Charalambous: Conjugate gradient algorithm for efficient training of artificial neural networks, Circuits, Devices and Systems, IEE Proceedings G, 139:301–310, 1992.
• [5] Paulo Cortez, Miguel Rocha, and Jos Neves: A lamarckian approach for neural network training Neural Processing Letters, 15:105–116, 2002.
• [6] R. O. Duda, P. E. Hart, and D. G. Stork: Pattern Classification, John Wiley and Sons, 2001.
• [7] R. Fletcher and C. M. Reeves: Function minimization by conjugate gradients, The Computer Journal, 7:149–154, 1964.
• [8] M. R. Hestenes and E. Stiefel: Methods of conjugate gradients for solving linear systems,Journal of Research of the National Bureau of Standards, 49:409–436, 1952.
• [9] J. Ilonen, J. K. Kamarainen, and J. Lampinen: Differential evolution training algorithm for feed-forward neural networks, Neural Processing Letters, 17:93–105, 2003.
• [10] W. Kwedlo and K. Bandurski: A parallel differential evolution algorithm for neural network training, In Parallel Computing in Electrical Engineering, 2006. PARELEC 2006. International Symposium on, pages 319–324. IEEE Computer Society Press, 2006.
• [11] Z. Michalewicz: Genetic Algorithms + Data Structures = Evolution Programs, Springer Verlag, 1996.
• [12] M. F. Møller: A scaled conjugate gradient algorithm for fast supervised learning, Neural Networks, 6(4):525–533, 1993.
• [13] Brian J. Ross: A lamarckian evolution strategy for genetic algorithms, In Lance D. Chambers, editor, Practical Handbook of Genetic Algorithms: Complex Coding Systems, volume 3, pages 1–16. CRC Press, Boca Raton, Florida,1999.
• [14] Phillip H. Sherrod: Dtreg - predictive modeling software, 2008.
• [15] R. Storn and K. Price: Differential evolution - a simple and efficient heuristicfor global optimization over continuous spaces, Journal of Global Optimization, 11:341–359, 1997.
• [16] B. Subudhi and D. Jena: Differential evolution and Levenberg Marquardt trained neural network scheme for nonlinear system identification, Neural Processing Letters, 27(3):285–296, 2008.