Optymalizacja procesu uczenia fourierowskich sieci neuronowych przy wykorzystaniu algorytmu najszybszego spadku

• Autorzy: Halawa K.

Warianty tytułu

EN

Optimization of learning process for Fourier series neural networks using gradient descent algorithm

• Języki publikacji: PL

Abstrakty

PL

W artykule zaproponowano metody pozwalające zmniejszyć liczbę obliczeń wykonywanych podczas treningu fourierowskich sieci neuronowych algorytmem najszybszego spadku. Uczenie tych sieci za pomocą tego algorytmu przebiega bardzo szybko. Przedstawiono sposób określania współczynnika uczenia zapewniającego stabilność procesu uczenia. Podano maksymalne jego wartości dla kilku popularnych funkcji celu.

EN

In this paper some methods which reduce the number of calculations carried out during learning Fourier series neural networks with the gradient descent algorithm are proposed. These networks learn with this algorithm very quickly. The way of determining such learning rate so as to ensure learning process stability is presented. Maximum values of the learning rate for several common cost functions are also given.

Słowa kluczowe

PL

fourierowskie sieci neuronowe; ortogonalne sieci neuronowe; algorytm najszybszego spadku; uczenie maszynowe

EN

Fourier series neural network; orthogonal neural network; gradient descent algorithm

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2008
• Tom: R. 84, nr 6
• Strony: 128--130
• Opis fizyczny: Bibliogr. 13 poz., wykr.

Twórcy

autor

Halawa K.

• Politechnika Wrocławska, Instytut Informatyki, Automatyki i Robotyki

Bibliografia

• [1] Tseng S., Chen S., Performance Comparison between the Training Method and the Numerical Method of the Orthogonal Neural Network in Function Approximation, Int. Journal of Intelligent Syst., 19 (2004) , no 12, 1257-1275
• [2] Rafajłowicz E., Pawlak M.: On Function Recovery by Neural Networks Based on Orthogonal Expansions, Nonlinear Analysis, Theory and Applications, 30 (1997), no 3, 1343-1354, Conf. Proc. of 2nd World Congress of Nonlinear Analysis, Pergamon Press
• [3] Zhu C, Shukla D, Paul W., Orthogonal Functions for System Identification and Control, Neural Network System Techniques and Applications, (2002), no 7, Contr. and Dynamic Systems, (Ed. Leondes C.T.), Academic Press, San Diego, 1-73
• [4] Sher F, Tseng S. and Chen S., Properties and Performance of Orthogonal Neural Network in Function Approximation, Int. Journal of Intelligent Syst., 16 (2001), no 12, 1377-1392
• [5] Groß J., Linear Regression, Springer-Verlag, Berlin, 2003
• [6] Rafajłowicz E., Skubalska-Rafajłowicz E., FFT in Calculating Nonparametric Regression Estimate Based on Trigonometrical Series, Appl. Math. and Comp. Sci., 3 (1993), no 4, 713-720
• [7] Halawa K., Determining weights of Fourier Series Neural Network on the basis of multidimensional discrete Fourier transform, Preprint Instytutu Informatyki, Automatyki i Robotyki, Politechniki Wrocławskiej,. 38 (2006)
• [8] Osowski S., Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa, 1997
• [9] Osowski S., Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza Politechniki Warszawskiej, 2006
• [10] Joliffe T., Principal Component Analysis Springer, Springer-Verlag, New York, 1986
• [11] Hyvärinen A, Karhunen J, Oja E., Independent Component Analysis, Wiley- Interscience, New York, 2001
• [12] Kegl B., Krzyzak A., Linder T., Zeger K., Learning and Design of Principal Curves, IEEE Trans. Pattern Analysis and Machine Intelligence, 22 (2000), no 3, 281-297
• [13] Diamantaras K., Kung S., Principal component neural networks - Theory and applications, Springer-Verlag, New York, 1996