Wyniki wyszukiwania - BazTech

1

Fast computational approach to the Levenberg-Marquardt algorithm for training feedforward neural networks

Bilski Jarosław, Smoląg Jacek, Kowalczyk Bartosz, Grzanek Konrad, Izonin Ivan

Journal of Artificial Intelligence and Soft Computing Research

|

2023

|

Vol. 13, No. 2

45--61

EN

This paper presents a parallel approach to the Levenberg-Marquardt algorithm (LM). The use of the Levenberg-Marquardt algorithm to train neural networks is associated with significant computational complexity, and thus computation time. As a result, when the neural network has a big number of weights, the algorithm becomes practically ineffective. This article presents a new parallel approach to the computations in Levenberg-Marquardt neural network learning algorithm. The proposed solution is based on vector instructions to effectively reduce the high computational time of this algorithm. The new approach was tested on several examples involving the problems of classification and function approximation, and next it was compared with a classical computational method. The article presents in detail the idea of parallel neural network computations and shows the obtained acceleration for different problems.

2

Non-intrusive load monitoring for appliance status determination using feed-forward neural network

Mohd Fazzil Nurul Afiqah, Ibrahim Ahmad Asrul, Shareef Hussain, Zulkifley Mohd Asyraf, Remli Muhammad Akma

Przegląd Elektrotechniczny

|

2022

|

R. 98, nr 4

27--32

EN

Energy efficiency regulations and initiatives have been implemented as part of proactive actions to address the energy crisis that has arisen due to the increasing demand and depletion of resources. A load monitoring system is used to provide real-time data for appropriate feedbacks towards electricity savings. It can also be used to evaluate the effectiveness of the implementation of an energy management scheme. However, monitoring all individual appliances by installing an energy meter for each appliance will incur high installation and maintenance costs. Therefore, this work aims to determine the status of individual appliances from an aggregated measurement using non-intrusive load monitoring (NILM) based on a feed-forward neural network. The establishment of a NILM model has for main processes, including, data acquisition, pre-processing, training and performance evaluation. In the pre-processing, a new approach using threshold is introduced to identify the status of appliances based on their power consumption readings. The performance of the proposed approach is then evaluated and compared with the traditional logistic regression technique in terms of accuracy. The results show that the NILM using a feed-forward neural network outperformed the traditional logistic regression by 5.78%. Moreover, the proposed approach with threshold helped to improve the accuracy further by 19.1% as compared to the same learning algorithm without considering the threshold. Consequently, the overall performance is improved by almost 25% as compared to the logistic regression as presented in the previous work. Hence, it clearly shows that the status of individual appliances can be determined from measurements at the main meter using NILM based on a feed-forward neural network with high accuracy.

PL

Regulacje i inicjatywy dotyczące efektywnosci energetycznej zostały wdrożone w ramach proaktywnych działań mających na celu zaradzenie kryzysowi energetycznemu, który powstał z powodu rosnącego popytu i wyczerpywania się zasobów. System monitorowania obciązenia słuzy do dostarczania danych w czasie rzeczywistym w celu uzyskania odpowiednich informacji zwrotnych dotyczących oszczędnosci energii ´ elektrycznej. Mozna go równie z wykorzystać do oceny skuteczności wdrożenia systemu zarządzania energią. Jednak monitorowanie wszystkich poszczególnych urządzen poprzez zainstalowanie licznika energii dla każdego urządzenia będzie wiązało się z wysokimi kosztami instalacji i konserwacji. Dlatego celem niniejszej pracy jest okreslenie stanu poszczególnych urządzen na podstawie zagregowanego pomiaru przy użyciu nieinwazyjnego monitorowania obciązenia (NILM) w oparciu o sieć neuronową ze sprzężeniem do przodu. Ustanowienie modelu NILM obejmuje główne ˙ procesy, w tym akwizycję danych, wstępne przetwarzanie, szkolenie i ocenę wydajnosci. W przetwarzaniu wstępnym wprowadza się nowe podejscie ´ wykorzystujące próg do identyfikacji stanu urządzen na podstawie ich odczytów zużycia energii. Wydajność proponowanego podejścia jest następnie oceniana i porównywana z tradycyjną techniką regresji logistycznej pod względem dokładnosci. Wyniki pokazują, ze NILM wykorzystujący sieć neuronową ze sprzężeniem do przodu przewyższał tradycyjną regresję logistyczna o 5,78%. Co więcej, zaproponowane podejscie z progiem pomogło jeszcze bardziej poprawic dokładność o 19,1% w porównaniu z tym samym algorytmem uczenia bez uwzględnienia progu. W rezultacie ogólna wydajność jest poprawiona o prawie 25% w porównaniu do regresji logistycznej przedstawionej w poprzedniej pracy. Stąd wyraźnie widać ze stan ˙ poszczególnych urządzeń mozna określić na podstawie pomiarów na głównym liczniku za pomocą NILM w oparciu o sieć neuronową ze sprzężeniem ˙ do przodu z duzą dokładnoscią.

3

Local Levenberg-Marquardt algorithm for learning feedforwad neural networks

Bilski Jarosław, Kowalczyk Bartosz, Marchlewska Alina, Zurada Jacek M.

Journal of Artificial Intelligence and Soft Computing Research

|

2020

|

Vol. 10, No. 4

299--316

EN

This paper presents a local modification of the Levenberg-Marquardt algorithm (LM). First, the mathematical basics of the classic LM method are shown. The classic LM algorithm is very efficient for learning small neural networks. For bigger neural networks, whose computational complexity grows significantly, it makes this method practically inefficient. In order to overcome this limitation, local modification of the LM is introduced in this paper. The main goal of this paper is to develop a more complexity efficient modification of the LM method by using a local computation. The introduced modification has been tested on the following benchmarks: the function approximation and classification problems. The obtained results have been compared to the classic LM method performance. The paper shows that the local modification of the LM method significantly improves the algorithm’s performance for bigger networks. Several possible proposals for future works are suggested.

4

Adaptive Differential Evolution with Elite Opposition-Based Learning and its Application to Training Artificial Neural Networks

Choi Tae Jong, Lee Jong-Hyun, Youn Hee Yong, Ahn Chang Wook

Fundamenta Informaticae

|

2019

|

Vol. 164, nr 2-3

227--242

EN

Differential Evolution (DE) algorithm is one of the popular evolutionary algorithms that is designed to find a global optimum on multi-dimensional continuous problems. In this paper, we propose a new variant of DE algorithm by combining a self-adaptive DE algorithm called dynNP-DE with Elite Opposition-Based Learning (EOBL) scheme. Since dynNP-DE algorithm uses a small number of population size in the later of the search process, the population diversity becomes low, and therefore premature convergence may occur. We have therefore extended an OBL scheme to dynNP-DE algorithm to overcome this shortcoming and improve the optimization performance. By combining EOBL scheme to dynNP-DE algorithm, the population diversity can be supplemented because not only the information of individuals but also their opposition information can be utilized. We measured the optimization performance of the proposed algorithm on CEC 2005 benchmark problems and breast cancer detection, which is a research field that has recently attracted a lot of attention. It was verified that the proposed algorithm could find better solutions than five state-of-the-art DE algorithms.

5

Vehicle suspension control based on PID controller adapted by feed-forward neural network

Popardovský V., Popardovský E.

Zeszyty Naukowe Instytutu Pojazdów / Politechnika Warszawska

|

2017

|

z. 4/113

99--107

EN

Control of suspension systems in vehicles, brings the opportunity react to unknown road conditions (road inequalities) to preserve comfort of crew, driving safety and also to prevent excessive mechanical stress of useful load. The goal of this study is to design an adaptive PID controller with using neural network (used as „tuner“ for PID), for control of active vehicle suspension system. For this purpose, an ANN is designed to produce outputs for PID controller - Proportional (P), Integral (I) and Derivative (D) parameters. By this way was designed ANNAPID controller for vehicle suspension control.

PL

Sterowanie zawieszeniem w pojazdach daje możliwość reagowania na nieznane warunki drogowe (nierówności drogowe) w celu zachowania komfortu załogi, bezpieczeństwa jazdy, a także w celu uniknięcia nadmiernego obciążenia mechanicznego przy obciążeniu użytkowym. Celem tego badania jest opracowanie adaptacyjnego regulatora PID z wykorzystaniem sieci neuronowych (wykorzystywanej jako "tuner" dla PID), do sterowania aktywnym systemem zawieszenia pojazdu. W tym celu zaprojektowano sieć neuronową ANN, która na wyjściu zadaje sygnały sterujące dla regulatora PID, czyli odpowiednie parametry dla członów: proporcjonalnego (P), całkującego (I) i różniczkującego (D). W ten sposób zaprojektowano sterownik ANNAPID do sterowania zawieszeniem pojazdu.