Wyniki wyszukiwania - BazTech

Ograniczanie wyników

1 Zeszyty Naukowe Politechniki Białostockiej. Informatyka

1 2009

Znaleziono wyników: 1

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: gradienty sprzężone

Sortuj według:

Ogranicz wyniki do:

Training neural networks with a hybrid differential evolution algorithm

Bandurski K., Kwedlo W.

Zeszyty Naukowe Politechniki Białostockiej. Informatyka

2009

Z. 4

5-17

A new hybrid method for feed forward neural network training, which combines differential evolution algorithm with a gradient-based approach is proposed. In the method, after each generation of differential evolution, a number of iterations of the conjugate gradient optimization algorithm is applied to each new solution created by the mutation and crossover operators. The experimental results show, that in comparison to the standard differential evolution the hybrid algorithm converges faster. Although this convergence is slower than that of classical gradient based methods, the hybrid algorithm has significantly better capability of avoiding local optima.

W artykule przedstawiono nową, hybrydową metodę uczenia sieci neuronowych, łączącą w sobie algorytm Differential Evolution z podejściem gradientowym. W nowej metodzie po każdej generacji algorytmu Differential Evolution, każde nowe rozwiązanie, powstałe w wyniu działania operatorów krzyżowania i mutacji, poddawane jest kilku iteracjom algorytmu optymalizacji wykorzystującego metodę gradientów sprzężonych.Wyniki eksperymentów wskazują, że nowy, hybrydowy algorytm ma szybszą zbieżność niż standardowy algorytm Differential Evolution. Mimo, iż zbieżność ta jest wolniejsza, niż w przypadku klasycznych metod gradientowych, algorytm hybrydowy potrafi znacznie lepiej unikać minimów lokalnych.