Powiadomienia systemowe
- Sesja wygasła!
- Sesja wygasła!
- Sesja wygasła!
Identyfikatory
Warianty tytułu
Optimization of learning process for Fourier series neural networks using gradient descent algorithm
Języki publikacji
Abstrakty
W artykule zaproponowano metody pozwalające zmniejszyć liczbę obliczeń wykonywanych podczas treningu fourierowskich sieci neuronowych algorytmem najszybszego spadku. Uczenie tych sieci za pomocą tego algorytmu przebiega bardzo szybko. Przedstawiono sposób określania współczynnika uczenia zapewniającego stabilność procesu uczenia. Podano maksymalne jego wartości dla kilku popularnych funkcji celu.
In this paper some methods which reduce the number of calculations carried out during learning Fourier series neural networks with the gradient descent algorithm are proposed. These networks learn with this algorithm very quickly. The way of determining such learning rate so as to ensure learning process stability is presented. Maximum values of the learning rate for several common cost functions are also given.
Wydawca
Czasopismo
Rocznik
Tom
Strony
128--130
Opis fizyczny
Bibliogr. 13 poz., wykr.
Twórcy
autor
- Politechnika Wrocławska, Instytut Informatyki, Automatyki i Robotyki
Bibliografia
- [1] Tseng S., Chen S., Performance Comparison between the Training Method and the Numerical Method of the Orthogonal Neural Network in Function Approximation, Int. Journal of Intelligent Syst., 19 (2004) , no 12, 1257-1275
- [2] Rafajłowicz E., Pawlak M.: On Function Recovery by Neural Networks Based on Orthogonal Expansions, Nonlinear Analysis, Theory and Applications, 30 (1997), no 3, 1343-1354, Conf. Proc. of 2nd World Congress of Nonlinear Analysis, Pergamon Press
- [3] Zhu C, Shukla D, Paul W., Orthogonal Functions for System Identification and Control, Neural Network System Techniques and Applications, (2002), no 7, Contr. and Dynamic Systems, (Ed. Leondes C.T.), Academic Press, San Diego, 1-73
- [4] Sher F, Tseng S. and Chen S., Properties and Performance of Orthogonal Neural Network in Function Approximation, Int. Journal of Intelligent Syst., 16 (2001), no 12, 1377-1392
- [5] Groß J., Linear Regression, Springer-Verlag, Berlin, 2003
- [6] Rafajłowicz E., Skubalska-Rafajłowicz E., FFT in Calculating Nonparametric Regression Estimate Based on Trigonometrical Series, Appl. Math. and Comp. Sci., 3 (1993), no 4, 713-720
- [7] Halawa K., Determining weights of Fourier Series Neural Network on the basis of multidimensional discrete Fourier transform, Preprint Instytutu Informatyki, Automatyki i Robotyki, Politechniki Wrocławskiej,. 38 (2006)
- [8] Osowski S., Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa, 1997
- [9] Osowski S., Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza Politechniki Warszawskiej, 2006
- [10] Joliffe T., Principal Component Analysis Springer, Springer-Verlag, New York, 1986
- [11] Hyvärinen A, Karhunen J, Oja E., Independent Component Analysis, Wiley- Interscience, New York, 2001
- [12] Kegl B., Krzyzak A., Linder T., Zeger K., Learning and Design of Principal Curves, IEEE Trans. Pattern Analysis and Machine Intelligence, 22 (2000), no 3, 281-297
- [13] Diamantaras K., Kung S., Principal component neural networks - Theory and applications, Springer-Verlag, New York, 1996
Typ dokumentu
Bibliografia
Identyfikator YADDA
bwmeta1.element.baztech-article-BPOC-0044-0009