Implementacja sztucznej sieci neuronowej w architekturze równoległej z wykorzystaniem protokołu MPI

• Autorzy: Bartecki K. , Czorny M.

Warianty tytułu

EN

Parallel implementation of artificial neural network with use of MPI protocol

• Języki publikacji: PL

Abstrakty

PL

W artykule wskazano na pewne aspekty związane z implementacją jednokierunkowej sieci neuronowej w architekturze równoległej z wykorzystaniem standardu przesyłania komunikatów MPI. Zaprezentowany przykład zastosowania sieci dotyczy klasycznego problemu aproksymacji funkcji. Zbadano wpływ liczby uruchamianych procesów na efektywność procedury uczenia i działania sieci oraz zademonstrowano negatywny wpływ opóźnień powstałych przy przesyłaniu danych za pomocą sieci LAN.

EN

In the paper some characteristic features concerning feed-forward neural network implementation in parallel computer architecture using MPI communication protocol are investigated. Two fundamental methods of neural network parallelization are described: neural (Fig. 1) as well as synaptic parallelization (Fig. 2). Based on the presented methods, an original application implementing feed-forward multilayer neural network was built. The application includes: a Java runtime interface (Fig. 3) and a computational module based on the MPI communication protocol. The simulation tests consisted in neural network application to classical problem of nonlinear function approximation. Effect of the number of processes on the network learning efficiency was examined (Fig. 4, Tab. 1). The negative effect of transmission time delays in the LAN is also demonstrated in the paper. The authors conclude that computational advantages of neural networks parallelization on a heterogeneous cluster consisting of several personal computers will become apparent only in the case of very complex neural networks, composed of many thousands of neurons.

Słowa kluczowe

PL

sztuczna sieć neuronowa; architektura równoległa; aproksymacja funkcji

EN

artificial neural network; parallel architecture; function approximation

• Wydawca: Wydawnictwo PAK
• Czasopismo: Pomiary Automatyka Kontrola
• Rocznik: 2011
• Tom: R. 57, nr 6
• Strony: 638--640
• Opis fizyczny: Bibliogr. 15 poz., rys., tab., wykr.

Twórcy

autor

Bartecki K.

autor

Czorny M.

• Politechnika Opolska, Instytut Automatyki i Informatyki, ul. Sosnkowskiego 31, 45-272 Opole,

Bibliografia

• [1] Bartecki K.: Niektóre osobliwości aproksymacji neuronowej na przykładzie odwrotnego zadania kinematyki. Pomiary Automatyka Kontrola (6): 589-592 (2010).
• [2] Bartecki K.: Sztuczne sieci neuronowe w zastosowaniach. Skrypt Politechniki Opolskiej nr 289, Opole, 2010.
• [3] Czorny M.: Implementacja jednokierunkowej sieci neuronowej w architekturze równoległej z wykorzystaniem standardu MPI. Praca dyplomowa magisterska, Politechnika Opolska, Opole, 2008.
• [4] Hornik K., Stinchcombe M., White H.: Mulitilayer Feedforward Networks are Universal Approximators. Neural Networks (2): 359-366 (1989).
• [5] Korbicz J., Obuchowicz A., Uciński D.: Sztuczne sieci neuronowe –podstawy i zastosowania, AOW PLJ, Warszawa, 1994.
• [6] Lotrič U., Dobnikar A.: Parallel implementations of feed-forward neural network using MPI and C# on .NET platform. Adaptive and Natural Computing Algorithms (6): 534-537 (2005).
• [7] Masters T.: Sieci neuronowe w praktyce: programowanie w języku C++. WNT, Warszawa, 1996.
• [8] Osowski S.: Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa, 1996.
• [9] Pacheco P. S.: A User’s Guide to MPI. University of San Francisco, San Francisco, 1998.
• [10] Pethick M., Liddle M., Werstein P., Huang Z.: Parallelization of a Backpropagation Neural Network on a Cluster Computer. Proceedings of the 15th IASTED International Conference on Parallel and Distributed Computing and Systems, Marina del Ray, pp. 574-582 (2003).
• [11] Rojas R.: Neural networks: a systematic introduction. Springer-Verlag, Berlin, 1996.
• [12] Snir M., Otto S., Huss-Lederman S., Walker D., Dongarra J.: MPI: The Complete Reference, The MIT Press, Massachusetts, 1996.
• [13] Sundararajan N., Saratchandran P.: Parallel Architectures for Artificial Neural Networks Paradigms and Implementations. Wiley-IEEE Computer Society Press, 1998.
• [14] Tadeusiewicz R.: Sieci neuronowe. AOW RM, Warszawa, 1993.
• [15] Torresen T.: Parallelization of Backpropagation Training for Feed-Forward Neural Networks. Ph. D Thesis, University of Trondheim, 1996.