Porównanie charakterystyk wydajnościowych algorytmu uczenia dla Standardowej Sieci Neuronowej oraz sieci zdekomponowanej i koordynowanej metodą prognozowania wartości interfejsów

• Autorzy: Płaczek S.

Identyfikatory

DOI

10.21008/j.1897-0737.2018.96.0005

Warianty tytułu

EN

A comparison of the performance characteristics of a teaching algorithm for a Standard Neural Network and a decomposed network coordinated by the interface forecasting method

• Konferencja: Computer Applications in Electrical Engineering (23-24.04.2018 ; Poznań, Polska)
• Języki publikacji: PL

Abstrakty

PL

Standardową Sieć Neuronową zdefiniujemy jako zintegrowany moduł składający się z wielu warstw, bez wewnętrznych sprzężeń zwrotnych i pełnym pokryciem wag w poszczególnych warstwach. Warstwa składa się z macierzy wag łączących wektor wejściowy X z wewnętrznym wektorem U, który z kolei przetwarzany jest przez funkcję aktywacji tworząc wektor wyjściowy Y. Algorytmy uczenia tak zdefiniowanej sieci są znane. Napotykają one jednak na określone problemy numeryczne związane z szybkością zbieżności do wartości minimum. W artykule proponuje się zastąpienie jedno poziomowej, wielowarstwowej sieci, siecią zdekomponowaną. Konfiguracja składa się z niezależnych modułów zawierających warstwy sieci pierwotnej oraz koordynatora. Koordynator koncepcyjnie znajduje się na drugim poziomie, Jego celem jest skoordynowanie lokalnych funkcji celu warstw w taki sposób, aby realizując swoje lokalne funkcje celu , zostało jednocześnie osiągnięte minimum globalnej funkcji celu. Sieć jako całość będzie przygotowana do realizacji zadań klasyfikacji. Porównuje się charakterystyki uczenia dwóch przedstawionych konfiguracji sieci.

EN

A Standard Neural Network is defined as an integrated module of a set of layers with both forward and full weight coefficient connections in all layers. Every layer is built by the matrix of the weight coefficients connecting an input vector X with an internal vector U, which, in the next step, is the input of the activation function, and the output vector Y is calculated. For these kinds of neural networks, the teaching algorithms are well known. Unfortunately, in an algorithm practice realization, a lot of numeric problems appear to achieve fast convergence. A lot of components have negative impacts on the entire calculation process. In the article, a decomposed network replaces a level in a multilayer network. A network is built by independent layers in the first level and the coordinator in the second. Layers have to solve their local optimization task using their own algorithms. Local solutions are coordinated by the coordinator. The coordinator, working together with the first level, is responsible for solving the global optimization task, which is laid outside the network. Finally, a network is ready to classify new input data. In the article, quality and quantity characteristics for these two networks are compared.

Słowa kluczowe

PL

sieć dwupoziomowa; dekompozycja; koordynacja; algorytm uczenia

• Wydawca: Wydawnictwo Politechniki Poznańskiej
• Czasopismo: Poznan University of Technology Academic Journals. Electrical Engineering
• Rocznik: 2018
• Tom: No. 96
• Strony: 59--70
• Opis fizyczny: Bibliogr. 6 poz., rys.

Twórcy

autor

Płaczek S.

• Wyższa Szkoła Handlowa Wrocław

Bibliografia

• [1] Mesarovic M. D., Macko D., Takahara Y., Theory of hierarchical, multilevel systems, Academic Press, New York and London 1970.
• [2] Płaczek S., Hierarchiczne struktury w sztucznych sieciach neuronowych, Zeszyty Naukowe Uczelni Vistula 38/2014.
• [3] Placzek S., Adhicari B., Analysis of Multilayer Neural Network with Direct and Cross – Forward Connection, CS7P Conference in the University of Warsaw, Warsaw 2013.
• [4] Quoc V. Le, Part 1: Nonlinear Classifiers and The Backpropagation Algorithm, Google Brain, Google Inc, CA 94043 2015.
• [5] Goodfellow I., Bengio Y., Courvile A., Deep Learning, 2016.
• [6] Raschka S., Python Machine Learning.

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2018).