Wyniki wyszukiwania - BazTech

1

Stabilizer design of PSS3B based on the KH algorithm and Q-Learning for damping of low frequency oscillations in a single-machine power system

Mohamadi Farshid, Sedaghati Alireza

Journal of Power Technologies

|

2023

|

Vol. 103, nr 4

230--242

EN

The aim of this study is to use the reinforcement learning method in order to generate a complementary signal for enhancing the performance of the system stabilizer. The reinforcement learning is one of the important branches of machine learning on the area of artificial intelligence and a general approach for solving the Marcov Decision Process (MDP) problems. In this paper, a reinforcement learning-based control method, named Q-learning, is presented and used to improve the performance of a 3-Band Power System Stabilizer (PSS3B) in a single-machine power system. For this end, we first set the parameters of the 3-band power system stabilizer by optimizing the eigenvalue-based objective function using the new optimization KH algorithm, and then its efficiency is improved using the proposed reinforcement learning algorithm based on the Q-learning method in real time. One of the fundamental features of the proposed reinforcement learning-based stabilizer is its simplicity and independence on the system model and changes in the working points of operation. To evaluate the efficiency of the proposed reinforcement learning-based 3-band power system stabilizer, its results are compared with the conventional power system stabilizer and the 3-band power system stabilizer designed by the use of the KH algorithm under different working points. The simulation results based on the performance indicators show that the power system stabilizer proposed in this study underperform the two other methods in terms of decrease in settling time and damping of low frequency oscillations.

2

QIBMRMN: Design of a Q-Learning based Iterative sleep-scheduling & hybrid Bioinspired Multipath Routing model for Multimedia Networks

Doorwar Minaxi, Malathi P

International Journal of Electronics and Telecommunications

|

2023

|

Vol. 69, No. 4

776--784

EN

Multimedia networks utilize low-power scalar nodes to modify wakeup cycles of high-performance multimedia nodes, which assists in optimizing the power-toperformance ratios. A wide variety of machine learning models are proposed by researchers to perform this task, and most of them are either highly complex, or showcase low-levels of efficiency when applied to large-scale networks. To overcome these issues, this text proposes design of a Q-learning based iterative sleep-scheduling and fuses these schedules with an efficient hybrid bioinspired multipath routing model for largescale multimedia network sets. The proposed model initially uses an iterative Q-Learning technique that analyzes energy consumption patterns of nodes, and incrementally modifies their sleep schedules. These sleep schedules are used by scalar nodes to efficiently wakeup multimedia nodes during adhoc communication requests. These communication requests are processed by a combination of Grey Wolf Optimizer (GWO) & Genetic Algorithm (GA) models, which assist in the identification of optimal paths. These paths are estimated via combined analysis of temporal throughput & packet delivery performance, with node-to-node distance & residual energy metrics. The GWO Model uses instantaneous node & network parameters, while the GA Model analyzes temporal metrics in order to identify optimal routing paths. Both these path sets are fused together via the Q-Learning mechanism, which assists in Iterative Adhoc Path Correction (IAPC), thereby improving the energy efficiency, while reducing communication delay via multipath analysis. Due to a fusion of these models, the proposed Q-Learning based Iterative sleep-scheduling & hybrid Bioinspired Multipath Routing model for Multimedia Networks (QIBMRMN) is able to reduce communication delay by 2.6%, reduce energy consumed during these communications by 14.0%, while improving throughput by 19.6% & packet delivery performance by 8.3% when compared with standard multimedia routing techniques.

3

Predictive Modelling of a Honeypot System Based on a Markov Decision Process and a Partially Observable Markov Decision Process

Wang Lidong, Mosher Reed, Duett Patti, Falls Terril

Applied Cybersecurity & Internet Governance

|

2023

|

Vol. 2, No. 1

1--14

EN

A honeypot is used to attract and monitor attacker activities and capture valuable information that can be used to help practice good cybersecurity. Predictive modelling of a honeypot system based on a Markov decision process (MDP) and a partially observable Markov decision process (POMDP) is performed in this paper. Analyses over a finite planning horizon and an infinite planning horizon for a discounted MDP are respectively conducted. Four methods, including value iteration (VI), policy iteration (PI), linear programming (LP), and Q-learning, are used in the analyses over an infinite planning horizon for the discounted MDP. The results of the various methods are compared to evaluate the validity of the created MDP model and the parameters in the model. The optimal policy to maximise the total expected reward of the states of the honeypot system is achieved, based on the MDP model employed. In the modelling over an infinite planning horizon for the discounted POMDP of the honeypot system, the effects of the observation probability of receiving commands, the probability of attacking the honeypot, the probability of the honeypot being disclosed, and transition rewards on the total expected reward of the honeypot system are studied.

4

Overview of selected reinforcement learning solutions to several game theory problems

Jarosz Robert

Computer Science and Mathematical Modelling

|

2022

|

No. 15-16

13--22

EN

This paper collects several applications of reinforcement learning in solving some problems related to game theory. The methods were selected to possibly show variety of problems and approaches. Selections includes Thompson Sampling, Q-learning, DQN and AlphaGo Zero using Monte Carlo Tree Search algorithm. Paper attempts to show intuition behind proposed algorithms with shallow explaining of technical details. This approach aims at presenting overview of the topic without assuming deep knowledge about statistics and artificial intelligence.

PL

Artykuł gromadzi wybrane podejścia do rozwiązania problemów z teorii gier wykorzystując uczenie ze wzmocnieniem. Zastosowania zostały dobrane tak, aby przedstawić możliwie przekrojowo klasy problemów i podejścia do ich rozwiązania. W zbiorze wybranych algorytmów znalazły się: próbkowanie Thompsona, Q-learning (Q-uczenie), DQN, AlphaGo Zero. W artykule nacisk położono na przedstawienie intuicji sposobu działania algorytmów, koncentrując się na przeglądzie technologii zamiast na technicznych szczegółach.

5

Analysis of selected reinforcement learning applications in contract bridge

Jarosz Robert

Computer Science and Mathematical Modelling

|

2022

|

No. 15-16

23--31

EN

This paper presents an overview of four selected solutions addressing problem of bidding in card game of contract bridge. In the beginning the basic rules are presented along with basic problem size estimation. Brief description of collected work is presented in chronological order, tracking evolution of approaches to the problem. While presenting solution a short description of mathematical base is attached. In the end a comparison of solution is made, followed by an attempt to estimate future development of techniques.

PL

Artykuł przedstawia cztery wybrane podejścia do rozgrywania licytacji w brydżu. W części pierwszej przybliżane są zasady brydża, stanu wiedzy na jego temat oraz krótkie oszacowanie poziomu komplikacji problemu. W części zasadniczej przedstawiono krótkie opisy podejść badaczy do problemu licytacji, badania przedstawione są w kolejności chronologicznej, ukazując ewolucję podejść do problemu. W trakcie opisywania rozwiązań, przybliżane są po krótce matematyczne zasady działania wykorzystanych mechanizmów uczenia maszynowego. Część końcowa podsumowuje przedstawione porównanie rozwiązań i oszacowanie kierunku przyszłego rozwoju.

6

Markov Decision Process based Model for Performance Analysis an Intrusion Detection System in IoT Networks

Kalnoor Gauri, Gowrishankar

Journal of Telecommunications and Information Technology

|

2021

|

nr 3

42--49

EN

In this paper, a new reinforcement learning intrusion detection system is developed for IoT networks incorporated with WSNs. A research is carried out and the proposed model RL-IDS plot is shown, where the detection rate is improved. The outcome shows a decrease in false alarm rates and is compared with the current methodologies. Computational analysis is performed, and then the results are compared with the current methodologies, i.e. distributed denial of service (DDoS) attack. The performance of the network is estimated based on security and other metrics.

7

Evaluation of Radio Channel Utility using Epsilon-Greedy Action Selection

Malon Krzysztof

Journal of Telecommunications and Information Technology

|

2021

|

nr 3

10--17

EN

This paper presents an algorithm that supports the dynamic spectrum access process in cognitive radio networks by generating a sorted list of best radio channels or by identifying those frequency ranges that are not in use temporarily. The concept is based on the reinforcement learning technique named Q-learning. To evaluate the utility of individual radio channels, spectrum monitoring is performed. In the presented solution, the epsilon-greedy action selection method is used to indicate which channel should be monitored next. The article includes a description of the proposed algorithm, scenarios, metrics, and simulation results showing the correct operation of the approach relied upon to evaluate the utility of radio channels and the epsilon-greedy action selection method. Based on the performed tests, it is possible to determine algorithm parameters that should be used in this proposed deployment. The paper also presents a comparison of the results with two other action selection methods.

8

Algorytm oceny przydatności kanałów radiowych wykorzystujący uczenie maszynowe Q-learning

Malon Krzysztof

Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne

|

2020

|

nr 7-8

259--262, CD

PL

W ramach artykułu zaproponowano algorytm oceny przydatności kanałów radiowych bazujący na metodzie uczenia maszynowego Q-learning oraz przedstawiono wyniki badań. Rozważany algorytm, wykorzystujący rezultaty monitorowania zasobów częstotliwościowych, może znaleźć zastosowanie w systemach dynamicznego dostępu do widma. W takich rozwiązaniach wtórni użytkownicy widma realizują transmisje radiowe w wolnych przestrzeniach czasowo–częstotliwościowych.

EN

In this paper, Q-learning based radio channels utility evaluation algorithm is proposed and tested. The considered algorithm, which takes into account the results of frequency resources monitoring, can be used in the dynamic spectrum access systems. In such solutions, secondary spectrum users transmit radio signals on the frequency channels that are temporarily not used by the licensed users.

9

Application of the reinforcement learning for selecting fuzzy rules representing the behavior policy of units in RTS-type games

Kutyło M, Pluciński M., Laskowska M

Przegląd Elektrotechniczny

|

2015

|

R. 91, nr 2

142-146

EN

The aim of the presented research was to prove the feasibility of the fuzzy modeling employing in combination with the reinforcement learning, in the process of designing an artificial intelligence that effectively controls the behavior of agents in the RTS-type computer game. It was achieved by implementing a testing environment for “StarCraft”, a widely popular RTS game. The testing environment was focused on a single test-scenario, which was used to explore the behavior of the fuzzy logic-based AI. The fuzzy model’s parameters were adjustable, and a Q-learning algorithm was applied to perform such adjustments in each learning cycle.

PL

W artykule przedstawiono badania możliwości połączenia modelowania rozmytego z uczeniem ze wzmocnieniem w procesie projektowania inteligentnego algorytmu, który będzie efektywnie kontrolował zachowanie agentów w grze typu RTS. Aby osiągnąć założony cel, zaimplementowano testowe środowisko w popularnej grze RTS „StarCraft”. W środowisku tym realizowano jeden założony scenariusz gry, w którym badano zachowanie opracowanego algorytmu rozmytego. Parametry modelu rozmytego były modyfikowane za pomocą metody Q-learning.

10

Prioritized epoch - incremental Q - learning algorithm

Zajdel R.

Theoretical and Applied Informatics

|

2012

|

Vol. 24, No. 2

159-171

EN

The basic reinforcement learning algorithms, such as Q-learning or Sarsa, are characterized by short time-consuming single learning step, however the number of epochs necessary to achieve the optimal policy is not acceptable. There are many methods that reduce the number of' necessary epochs, like TD(lambda greather than 0), Dyna or prioritized sweeping, but their computational time is considerable. This paper proposes a combination of Q-learning algorithm performed in the incremental mode with the method of acceleration executed in the epoch mode. This acceleration is based on the distance to the terminal state. This approach ensures the maintenance of short time of a single learning step and high efficiency comparable with Dyna or prioritized sweeping. Proposed algorithm is compared with Q(lambda)-learning, Dyna-Q and prioritized sweeping in the experiments of three grid worlds. The time-consuming learning process and number of epochs necessary to reach the terminal state is used to evaluate the efficiency of compared algorithms.

PL

Efektywność podstawowych algorytmów uczenia ze wzmocnieniem Q-learning i Sarsa, mierzona liczbą prób niezbędnych do uzyskania strategii optymalnej jest stosunkowo niewielka. Stąd też możliwości praktycznego zastosowania tego algorytmu są niewielkie. Zaletą tych podstawowych algorytmów jest jednak niewielka złożoność obliczeniowa, sprawiająca, że czas wykonania pojedynczego kroku uczenia jest na tyle mały, że znakomicie sprawdzają się one w systemach sterowania online. Stosowane metody przyśpieszania procesu uczenia ze wzmocnieniem, które pozwalająna uzyskanie stanu absorbującego po znacznie mniejszej liczbie prób, niż algorytmy podstawowe powodują najczęściej zwiększenie złożoności obliczeniowej i wydłużenie czasu wykonania pojedynczego kroku uczenia. Najczęściej stosowane przyśpieszanie metodą różnic czasowych TD(lambda znak większości 0) wiąże się z zastosowaniem dodatkowych elementów pamięciowych, jakimi są ślady aktywności (eligibility traces). Czas wykonania pojedynczego kroku uczenia w takim algorytmie znacznie się wydłuża, gdyż w odróżnieniu od algorytmu podstawowego, gdzie aktualizacji podlegała wyłącznie funkcja wartości akcji tylko dla stanu aktywnego, tutaj aktualizację przeprowadza się dla wszystkich stanów. Bardziej wydajne metody przyśpieszania, takie jak Dyna, czy też prioritized sweeping również należą do klasy algorytmów pamięciowych, a ich główną ideą jest uczenie ze wzmocnieniem w oparciu o adaptacyjny model środowiska. Metody te pozwalają na uzyskanie stanu absorbującego w znacznie mniejszej liczbie prób, jednakże, na skutek zwiększonej złożoności obliczeniowej, czas wykonania pojedynczego kroku uczenia jest już istotnym czynnikiem ograniczającym zastosowanie tych metod w systemach o znacznej liczbie stanów. Istotą tych algorytmów jest dokonywanie ustalonej liczby aktualizacji funkcji wartości akcji stanów aktywnych w przeszłości, przy czym w przypadku algorytmu Dyna są to stany losowo wybrane, natomiast w przypadku prioritized sweeping stany uszeregowane wg wielkości błędu aktualizacji. W niniejszym artykule zaproponowano epokowo-inkrementacyjny algorytm uczenia ze wzmocnieniem, którego główną ideą jest połączenie podstawowego, inkrementacyjnego algorytmu uczenia ze wzmocnieniem Q-lerning z algorytmem przyśpieszania wykonywanym epokowo. Zaproponowana metoda uczenia epokowego w głównej mierze opiera się na rzeczywistej wartości sygnału wzmocnienia obserwowanego przy przejściu do stanu absorbującego, który jest następnie wykładniczo propagowany wstecz w zależności od estymowanej odległości od stanu absorbującego. Dzięki takiemu podej- ściu uzyskano niewielki czas uczenia pojedynczego kroku w trybie inkrementacyjnym (Tab. 2) przy zachowaniu efektywności typowej dla algorytmów Dyna, czy też prioritized sweeping (Tab. 1 i Fig. 5).

11

Optimization of fuzzy PID controllers using Q-learning algorithm

Boubertakh H., Labiod S., Tadjine M., Glorennec P.-Y.

Archives of Control Sciences

|

2008

|

Vol. 18, no. 4

415-435

EN

In this article, we first chose the design settings of the fuzzy PID controllers (FPIDC) so that the FPIDCs mimic the classical PID controllers. The advantage of these controllers is the combination of the simplicity of the classical PID controllers and the interpretability of fuzzy controllers which makes the task of parameters tuning easier. Secondly, we present a method for optimizing the closed-loop system consisting of a FPIDC and an unknown plant using the Q-learning algorithm (QLA). Specifically, QLA minimizes a cost function which quantifies the performance of FPIDC. Without loss of generality the square error sum cost function is used. The QLA, which is a nonmodel-based method, iteratively search of the best parameters so that the output of the cost function is less then satisfaction threshold. Finally, a simulation example is used to prove the effectiveness of the proposed method.

12

Enhancements of Fuzzy Q-Learning algorithm

Głowaty G.

Computer Science

|

2005

|

Vol. 7

77-87

EN

Fuzzy Q-Learning algorithm combines reinforcement learning techniques with fuzzy modelling. It provides a flexible solution for automatic discovery of rules for fuzzy systems in the process of reinforcement learning. In this paper we propose several enhancements to the original algorithm to make it more performant and more suitable for problems with continuous-input continuous-output space. Presented improvements involve generalization of the set of possible rule conclusions. The aim is not only to automatically discover an appropriate rule-conclusions assignment, but also to automatically define the actual conclusions set given the all possible rules conclusions. To improve algorithm performance when dealing with environments with inertness, a special rule selection policy is proposed.

PL

Algorytm Fuzzy Q-Learning pozwala na automatyczny dobór reguł systemu rozmytego z użyciem technik uczenia ze wzmocnieniem. W niniejszym artykule zaproponowana została zmodyfikowana wersja oryginalnego algorytmu. Charakteryzuje się ona lepszą wydajnością działania w systemach z ciągłymi przestrzeniami wejść i wyjść. Algorytm rozszerzono o możliwość automatycznego tworzenia zbioru potencjalnych konkluzji reguł z podanego zbioru wszystkich możliwych konkluzji. Zaproponowano także nową procedurę wyboru reguł dla polepszenia prędkości działania w systemach z bezwładnością.

13

Q-learning: from discrete to continuous representation

Věchet S., Krejsa J.

Elektronika : konstrukcje, technologie, zastosowania

|

2004

|

Vol. 45, nr 8-9

12-14

EN

Q-learning algorithm in its standard form is limited by discrete states and actions. In order to improve quality of the control the algorithm must be modified to enable direct use of continuous variables. One possible way, presented in the paper, is to replace the table, by suitable approximator.

PL

Algorytm metody Q-learning w swej standardowej formie jest ograniczony przez dyskretne stany i działania. W celu ulepszenia jakości sterowania algorytm ten trzeba zmodyfikować, aby umożliwić bezpośrednie wykorzystanie zmiennych ciągłych. Jednym z możliwych sposobów jest przedstawione w artykule zastąpienie tablicy odpowiednim aproksymatorem.

14

Anapplication of decision rules in reinforcement learning

Michalski A.

Control and Cybernetics

|

2000

|

Vol. 29, no 4

989-996

EN

In this paper an application of decision rules to function representation in reinforcement learning is described. Rules are generated incrementally by method based on rough set theory from instances recorded in state-action-Q-value memory. Simulation experiment investigating the performance of the system and results achieved are reported.