W artykule dokonano przeglądu technik regularyzacji, które zastosowano do uczenia i estymacji sztucznych sieci neuronowych. Istotę tych technik zademonstrowano na przykładzie takich sieci, których struktura funkcjonalna jest tylko częściowo znana lub w ogóle nieznana. Na przykład, gdy funkcje aktywacji są nieznane, wtedy konstruowane są tzw. sieci nieparametryczne. Jeśli zaś struktura jest częściowo znana, są to sieci nazwane w artykule semiparametrycznymi. Wśród sugerowanych metod estymacji są metody największej wiarygodności z karą, uogólnione modelowanie addytywne, a także modelowanie nieliniowe.
EN
In this paper, regularization techniques are reviewed and applied to artial neural networks for learning or estimation purposes. The importance of these methodologies is emphasized when we deal with networks presenting a functional structure which is completely or partially unknown, as in the case of the presence of hidden layer activation functions of unspecified form. Under these last circumstances we have built a nonparametric network; and althgough the architecture at hand has both parametric and nonparametric components, we call the network semiparametric, as in the statistical language. Interesting cases can thus be investigated; for instance, when the activation functions are specified only up to some regularity conditions, i.e., smoothness, and allowed to be time-verying and spatially adaptable. Among the suggested estimation methods here addressed, local and penalized likelihood, additive generalized linear and nonlinear modelling are considered, given their relevance in dealing with the curse of dimensionality.
2
Dostęp do pełnego tekstu na zewnętrznej witrynie WWW
This paper presents an extention to backpropagation networks for financial time series prediction. We want the network that uses the information carried by the first and second order conditional moments of the distribution of interest, so as to combine its built-in nonlinear features with the typical dependence impliesd by ARCH-type and Stochastic Volatility models, whose effects must be estimated. A likelihood-type performance measure is discussed and learning schemes are suggested for conditionally Gaussian models.
PL
W artykule przedstawiono pobieżnie ideę modeli typu ARCH, a także idę sztucznych sieci neuronowych. Modele rodziny ARCH umożliwiają wykorzystanie do prognozowania warunkowych momentów rzędu wyższego niż jeden. Sieci neuronowe zaś charakteryzują się dużymi możliwościami aproksymacji funkcji. Przedstawiono próbę zbudowania modelu łączącego zalety modeli ARCH i sieci neuronowych.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.