Optimization of Neural Network Model Design: An Electoral Cooperative Particle Swarm Optimization Approach

• Autorzy: Li D. , Xu H.

Warianty tytułu

PL

Optymalizacja modelu sieci neuronowej z zastosowaniem optymalizacji roju cząstek ze współdzieleniem grup

• Języki publikacji: EN

Abstrakty

EN

This paper proposes an electoral cooperative particle swarm optimization approach to optimize the model of neural network from both structure and linked weights. Different with other related research work, a new encoding method is adopted to divide the neural network into several modules, each of them corresponding to a sub-swarm. Based on the experiments on typical problems and classic dataset, the results show that the proposed algorithm outperforms all the compared ones in perspective of test error, correctness, connection number, and the CPU time of the training phase.

PL

W przedstawionym artykule opisano zastosowanie metod optymalizacji roju cząstek do optymalizacji struktury i współczynników wagowych sieci neuronowej. Zaimplementowano nową metodę analizy, do dzielenia podzielenia sieci na moduły, reprezentujące mniejsze roje. Weryfikacja eksperymentalna i porównanie z metodami klasycznymi wykazały wysoką sprawność i skuteczność analizy.

Słowa kluczowe

EN

particle swarm optimization (PSO); neural network; back propagation

PL

sieć neuronowa; propagacja wsteczna; optymalizacja rojem cząstek

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2013
• Tom: R. 89, nr 1b
• Strony: 165--167
• Opis fizyczny: Bibliogr. 9 poz., rys., tab.

Twórcy

autor

Li D.

• Anhui Science and Technology University, Shanghai Normal University Tianhua College

autor

Xu H.

• Anhui Science and Technology University, Shanghai Normal University Tianhua College

Bibliografia

• [1] Pedrajas N.G., Martinez C.H., Perez J.M.: Multi-objective cooperative coevolution of artificial neural network, Neural Network, 15 (2002):1259-1278.
• [2] van den Bergh F., Engelbrecht A.P.: Cooperative Learning in Neural Networks using Particle Swarm Optimizers, South African Computer Journal, 26(2000): 84-90
• [3] Mendes R., Cortez P., Rocha M., Neves J.: Particle Swarms for Feedforward Neural Network Training, In Proceedings of The 2002 International Joint Conference on Neural Networks (2002):1895-1899
• [4] Niu B., Zhu Y., Hu K., Li S., He X.: A Cooperative Evolutionary System for Designing Neural Networks, Lecture Notes in Computer Science, 4113(2006): 12-21
• [5] van den Bergh F., Engelbrecht A.P.: A cooperative approach to particle swarm optimization, IEEE Transactions on In Evolutionary Computation, 8(2004):1-15
• [6] Li D., He Q.: A Version of Cooperative Multi-Swarm PSO Using Electoral Mechanism to Solve Hybrid Flow Shop Scheduling Problem[J]. Przeglad Elektrotechniczny, 88(2012):22-26
• [7] Potter M.A.: The design and analysis of a computational model of cooperative coevolution, Fairfax: George Mason University, 1997.
• [8] Potter M.A., De Jong K.A.: Cooperative Coevolution: An Architecture for Evolving Coadapted Subcomponents, Evolutionary Computation, 8(2002):1-29
• [9] UC Irvine Machine Learning Repository, http://archive.ics.uci. edu/ml