Przyrostowa aproksymacja funkcji z ortonormalizacją bazy

• Autorzy: Beliczyński B.

Warianty tytułu

EN

Incremental function approximation utilising base orthonormalisation

• Języki publikacji: PL

Abstrakty

PL

Prezentowana aproksymacja przyrostowa funkcji bazuje na architekturze sieci neuronowej z jedną warstwą ukrytą. W każdym kroku aproksymacji do warstwy tej dodawany jest tylko jeden neuron i jego parametry są optymalizowane. W trakcie procesu aproksymacji wykorzystuje się dwie bazy tej samej przestrzeni aproksymującej: bazę implementacyjną i pomocniczą bazę ortonormalną. Błąd aproksymacji sieci, jako funkcja liczby neuronów w warstwie ukrytej, maleje monotonicznie przy spełnieniu bardzo słabych warunków na parametry nowo dodawanych neuronów. Nie istnieje więc problem minimów lokalnych. Wagi w warstwie wyjściowej wyznacza się tylko raz, po zakończeniu doboru neuronów w warstwie ukrytej.Prezentowana aproksymacja przyrostowa funkcji bazuje na architekturze sieci neuronowej z jedną warstwą ukrytą. W każdym kroku aproksymacji do warstwy tej dodawany jest tylko jeden neuron i jego parametry są optymalizowane. W trakcie procesu aproksymacji wykorzystuje się dwie bazy tej samej przestrzeni aproksymującej: bazę implementacyjną i pomocniczą bazę ortonormalną. Błąd aproksymacji sieci, jako funkcja liczby neuronów w warstwie ukrytej, maleje monotonicznie przy spełnieniu bardzo słabych warunków na parametry nowo dodawanych neuronów. Nie istnieje więc problem minimów lokalnych. Wagi w warstwie wyjściowej wyznacza się tylko raz, po zakończeniu doboru neuronów w warstwie ukrytej.

EN

In this paper incremental function approximation based on one-hidden layer neural architecture is presented. In each incremental step only one neuron is added into hidden layer and its parameters are optimised. Two bases of approximation space are determined and maintained during approximation process. The first one is used for neural network implementation, the second - orthonormal one, is treated as an intermediate step of calculations. Approximation error versus number of neurons in hidden layer monotonically decreases, so there is no problem of local minima. Only after terminating all iterations the output weights are calculated (once).

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2002
• Tom: R. 78, nr 10
• Strony: 203--207
• Opis fizyczny: Bibliogr. 8 poz., 5 rys.

Twórcy

autor

Beliczyński B.

• Politechnika Warszawsak, Instytut Sterowania i Elektrotechniki Przemysłowej

Bibliografia

• [1] Jones L. K.: Simple Lemma on Greedy Approximation in Hilbert Space and Convergence Rates for Projection Persuit Regression and Neural NetWork Training, Annals of Statistics. 20,1992, 608-613.
• [2] Вarron A. R.: Universal Approximation Bounds for superpositions of a sigmoidal function. IEEE Transactions of Information Theory, 39, 1993, 930- 945.
• [3] Кurkovа V.: Incremental approximation by neural networks. In Karny М., Warwick K. And Kurkova V. (Eds), Dealing with complexity: a neural approach, Springer, Berlin, 1998, 177-188.
• [4] Fahlman S.E., LeblereC.: The Cascade correlation learning architecture, Technical report, CMU-CS-90-100,1991.
• [5] Кwоk T. Y., Yeung D. Y.: Constructive algorithms for slructure learning in feedforward neural networks for regression problems. IEEE Transactions on Neural Networks. 7, 1996, 1168-1183.
• [6] Кwоk T. Y., Yeung D. Y.: Objective functions for training new hidden units in constructive neural networks, IEEE Transactions on Neural Networks, 8, 1997, 1131-1148.
• [7] Meir R., Malorov V. E.: On the Optimality of Neural-Network Approximation Using Incremental Algorithms, IEEE Trans. Neural Networks, 11, 2000, 323-337.
• [8] Beliczyński B.: Przyrostowa aproksymacja funkcji za pomocą sieci neuronowych, Oficyna Wydawnicza Politechniki Warszawskiej. Seria Elektryka, z. 112,2000.