Enhancements of Fuzzy Q-Learning algorithm

• Autorzy: Głowaty G.

Warianty tytułu

PL

Rozszerzenia algorytmu Fuzzy Q-Learning

• Języki publikacji: EN

Abstrakty

EN

Fuzzy Q-Learning algorithm combines reinforcement learning techniques with fuzzy modelling. It provides a flexible solution for automatic discovery of rules for fuzzy systems in the process of reinforcement learning. In this paper we propose several enhancements to the original algorithm to make it more performant and more suitable for problems with continuous-input continuous-output space. Presented improvements involve generalization of the set of possible rule conclusions. The aim is not only to automatically discover an appropriate rule-conclusions assignment, but also to automatically define the actual conclusions set given the all possible rules conclusions. To improve algorithm performance when dealing with environments with inertness, a special rule selection policy is proposed.

PL

Algorytm Fuzzy Q-Learning pozwala na automatyczny dobór reguł systemu rozmytego z użyciem technik uczenia ze wzmocnieniem. W niniejszym artykule zaproponowana została zmodyfikowana wersja oryginalnego algorytmu. Charakteryzuje się ona lepszą wydajnością działania w systemach z ciągłymi przestrzeniami wejść i wyjść. Algorytm rozszerzono o możliwość automatycznego tworzenia zbioru potencjalnych konkluzji reguł z podanego zbioru wszystkich możliwych konkluzji. Zaproponowano także nową procedurę wyboru reguł dla polepszenia prędkości działania w systemach z bezwładnością.

Słowa kluczowe

EN

fuzzy models; reinforcement learning; Q-learning; generation of fuzzy models; automatic generation

PL

modele rozmyte; uczenie ze wzmocnieniem; Q-Learning; tworzenie modeli rozmytych; tworzenie automatyczne

• Wydawca: Wydawnictwa AGH
• Czasopismo: Computer Science
• Rocznik: 2005
• Tom: Vol. 7
• Strony: 77--87
• Opis fizyczny: Bibliogr. 11 poz., rys., tab., wykr.

Twórcy

autor

Głowaty G.

• Department of Computer Science, AGH-UST, Kraków, Poland

Bibliografia

• [1] Bonarini A.: Evolutionary Learning of Fuzzy rules: competition and cooperation. Fuzzy Modelling:Paradigms and Practice, Kluwer Academic Press, Norwell, MA (1997), 265–284
• [2] Glorennec P.Y., Jouffe L.: Fuzzy Q-learning . Proc. of the Sixth International Conferenceon Fuzzy Systems 1997
• [3] Glorennec P.Y.: Reinforcement Learning :an Overview . ESIT2000, Aachen, Germany 2000
• [4] Jang J.R.: ANFIS: Adaptive-Neural-Based Fuzzy Inference System . IEEE Trans. on SMC,vol.231993, 665–685
• [5] Jouffe L.: Fuzzy inference system learning by rein for cement methods, IEEE Trans. Syst. Man.Cybernet. Part C: Appl. Rev.,28, 3,1998
• [6] Klawonn F.,Kruse R.: Constructing a fuzzy controller from data. Fuzzy Setsand Systems, 85, 1997, 177–193
• [7] Mandani E.H.: Applications of fuzzy algorithms for simple dynamic plants. Proc. IEE,121,1974,1585–1588
• [8] Sutton R.S.: Generalization in rein for cement learning: Successful examples using sparsecoarsecoding. Advancesin Neural Information Processing Systems, vol.8. MIT Press 1996
• [9] Takagi H., Sugeno M.: Fuzzy identification of systems and its applications to modeling and control. IEEE Transactionson System, Man, and Cybernetics,15(1) 1985,116–132.
• [10] Thrun S.B.: Efficient exploration in reinforcement learning,Technical Report CMU-CS-92-102, School of Computer Science, Carnegie Mellon University 1992
• [11] Watkins C.J.C.H.: Learning from Delayed Rewards. King’s College, Cambridge 1989 (PhDThesis)