Maksimum całkowitej wiarygodności zamiast walidacji krzyżowej w projektowaniu sztucznych sieci neuronowych

• Autorzy: Waszczyszyn Z. , Słoński M.

Warianty tytułu

EN

Criterion of maximum marginal likelihood instead of cross-validation for design of artifical neural networks

• Języki publikacji: PL

Abstrakty

PL

Metoda krzyżowej walidacji jest powszechnie stosowana do projektowania Sztucznych Sieci Neuronowych (SSN). W pracy projektowanie odnosi się do obliczania optymalnych wartości parametru regularyzacji lub liczby neuronów w warstwie ukrytej SSN. Metoda krzyżowej walidacji opiera się na obliczaniu wartości minimalnej krzywej walidacji, gdyż krzywa uczenia jest funkcją monotonicznie malejącą wymienionych parametrów regularyzacji. Celem zmiany kryterium projektowania SSN oparto się na krzywej maksymalnej wiarygodności, stosowanej w podejściu bayesowskim. W kryterium MML (Maximum Marginal Likelihood) oblicza się maksimum funkcji całkowitej wiarygodności lnCW(PR; L), gdzie CW jest prawdopodobieństwem całkowitej wiarygodności, a L liczebnością zbioru uczącego. Efektywność proponowanego podejścia wykazano na dwóch przykładach liczbowych. Otrzymane wyniki prowadzą do wniosku, że kryterium MML może być stosowane zamiast metody krzyżowej walidacji. Taki wniosek ma znaczenie praktyczne, zwłaszcza w przypadku małych zbiorów danych, gdyż umożliwia projektowanie SSN bez formułowania zbioru walidującego.

EN

The cross-validation method is commonly applied in the design of Artificial Neural Networks (ANNs). In the paper the design of ANN is related to searching of an optimal value of the regression parameter or the number of neurons in the hidden layer of network. The cross-validation error has a minimal value, vs. the training error curve which is monotonically decreasing. In order to change the design criterion, the marginal likelihood curve, taken from Bayesian approach, can be used. A corresponding formula for the plotting of the curve is shortly discussed. The criterion MML (Maximum Marginal Likelihood), applied to find optimal values of design parameters, is illustrated on two numerical examples. The obtained results enable us to formulate a conclusion that the criterion MLM can be used instead of the cross-validation method. This conclusion if of practical value (especially for small data sets), since it permits to design ANNs without formulation of a validation set of patterns.

Słowa kluczowe

PL

sieć neuronowa sztuczna; projektowanie; wiarygodność; walidacja krzyżowa

EN

artificial neural network; design; likelihood; cross-validation

• Wydawca: Oficyna Wydawnicza Politechniki Rzeszowskiej
• Czasopismo: Zeszyty Naukowe Politechniki Rzeszowskiej. Budownictwo i Inżynieria Środowiska
• Rocznik: 2007
• Tom: z. 45 {243}
• Strony: 173--185
• Opis fizyczny: Bibliogr. 8 poz., il.

Twórcy

autor

Waszczyszyn Z.

autor

Słoński M.

• Politechnika Rzeszowska

Bibliografia

• [1] Haykin S., Neural Networks: A Comprehensive Foundation. Prentice Hall Intern., Upper Sadle River, NJ 1999
• [2] Waszczyszyn Z. (ed.), Neural Networks in the Analysis and Design of S tructures. CISM Courses and Lectures, no. 404, Springer, Wien - New York 1999
• [3] Bishop Ch., Pattern Recognition and Machine Learning. Springer, 2006
• [4] Tipping M., Bayesian inference: an introduction to principles and practice in machine learning. [In:] O. Bousquet et al. (eds.), Advanced Lectures on Machine Learning, Springer, 2004, 41-62
• [5] Kuźniar K., Analiza drgań budynków ścianowych o średniej wysokości podlegających wstrząsom górniczym z wykorzystaniem sieci neuronowych. Monografia 310, Seria: Inżynieria Lądowa. Politechnika Krakowska, Kraków 2004
• [6] Kuźniar K., Waszczyszyn Z., Neural networks for the simulation and identification of building subjected to paraseismic excitations. [In:] N.D. Lagaros, Y. Tsompanakis (eds.), Intelligent Computational Paradigms in Earthquake Engineering, Idea Group Publishing, Herskey 2007
• [7] Ciesielski R., Kuźniar K., Maciąg E., Tatara T., Empirical formulae for fundamental natura period of buildings with load bearing walls. Archives of Civil Engineering, 38, 1992, 291-299
• [8] Nabney L, NETLAB - Algorithms for Pattern Recognition. Springer, Printed in Great Britain, 2003