Analityczna metoda wyznaczania niektórych macierzy zdyskontowanego decyzyjnego łańcucha Markowa

Kałuski, J.

Artykuł - szczegóły

Tytuł artykułu

Analityczna metoda wyznaczania niektórych macierzy zdyskontowanego decyzyjnego łańcucha Markowa

Autorzy

Kałuski J.

Wybrane pełne teksty z tego czasopisma

http://managementpapers.polsl.pl/

Identyfikatory

Warianty tytułu

An analitical method to calculate some matrices of the discounted Markov decision processes

Języki publikacji

Abstrakty

W pracy przedstawiono analityczną metodę wyznaczania ergodycznej i różnicowych macierzy decyzyjnego łańcucha Markowa ze skończoną liczbą stanów z zadanym współczynnikiem dyskonta. Znany w literaturze wynik dla pełnych oczekiwanych dochodów takiego łańcucha zinterpretowano w aspekcie otrzymanych macierzy. Przedstawione wyniki dają możliwość wyróżnienia składowej stałej i zmiennej pełnego oczekiwanego dochodu. Metodę zilustrowano na dwóch prostych przykładach. W oparciu o zaprezentowaną metodę zaproponowano nowy wskaźnik jakości dla optymalizacji omawianego łańcucha Markowa.

In the work the analytical method to calculate the ergodic and difference matrices of finite state discounted Markov decision processes is presented. On the basis well - known literature the result for overall discounted value, this one in interpretation of the calculated matrices is shown. The obtained results gives a possibility to distinguish the constant andvariable parts of the overall discounted value. The presented analitical method is illustrated by two simple examples. New performance index to discounted optimal Markov control problem is proposed.

Słowa kluczowe

łańcuch Markowa decyzyjny proces Markowa metoda analityczna macierz wskaźnik jakości

Markov decision process analytical method quality rating

Wydawca

Wydawnictwo Politechniki Śląskiej

Czasopismo

Zeszyty Naukowe. Organizacja i Zarządzanie / Politechnika Śląska

Rocznik

2000

Tom

z. 2

Strony

53--69

Opis fizyczny

Bibliogr. 42 poz.

Twórcy

autor

Kałuski J.

Katedra Informatyki i Ekonometrii Politechniki Śląskiej, 41-800 Zabrze, ul. Roosevelta 26, tel. (032) 277-73-54, jan.kaluski@polsl.pl

Bibliografia

1. Altman E., Shwartz A.: Markov Decision Problems and State - Action Freąuencies. SIAM Journal on Control and Optimization. 29, 1991.
2. Arapostathis A., Borkar V.S., Fernandez-Gaucherand E., Ghosh M.K. and Marcus S.I.: Discrete -Time Controlled Markov Processes with an Average Costs Criterion: A Servey. SIAM Journal on Control and Optimization. 31, 1993.
3. Bertsekas P.: Dynamie Programming and Stochastic Control. Acad. Press. New York 1976.
4. Bewley T., Kohlberg E.: The Asymptotic Theory of Stochasic Games. Mathematics of Oper. Res., l, 1976.
5. Bewley T., Kohlberg E.: On Stochastic Games with Stationary Optima! Strategies. Mathematics of Oper. Res., 3, 1978.
6. Breton M., Filar J.A., Haurie A. and Shultz T.A.: On the Computation of Eąuilibria in Discounted Stochastic Games.
7. Chan L.M.: A Markovian approach to the study of the canadian cattle industry. Reprint, ser. 162, University Toronto, Canada,1981.
8. Chan L.M., Gal S.: A Markovin model for a perishable product invertory. Mań. Science,23,1985.
9. Chrzan P.: O pewnym algorytmie rozwiązania zadania optymalizacji niejednorodnego okresowego łańcucha Markowa. PN.351, AE Wrocław 1986.
10. Chrzan P.: Iteracyjny algorytm wyznaczania macierzy ergodycznej i fundamentalnej dla skończonego łańcucha Markowa. Problemy budowy i zastosowań modeli ekonomicznych. SGPiS, Warszawa 1987.
11. Chrzan P.: Model Howarda dla niejednorodnego okresowego łańcucha Markowa. Część I. Przegląd Statystyczny,35/2. PWN, Poznań 1988.
12. Chrzan P.: Model Howarda dla niejednorodnego okresowego łańcucha Markowa. Część II. Przegląd Statystyczny, 35/3, PWN, Poznań 1988.
13. Chrzan P.: Stacjonarny łańcuch Markowa z czasem dyskretnym. Zadanie optymalizacji z dyskontem. Program w języku FORTRAN dla EBM-PC, metoda iteracji w przestrzeni polityk. Working Paper, Instytut Ekonomii, AE- Katowice 1990.
14. Chrzan P.: Markov Decisin Chains and their Applications in Economics. AE Katowice 1990(InPolish).
15. Dirven C.A.J.M., Yrieze O. J.: Advertising Models, Stochastic Games and Myopic Strategies. Oper. Res., 34, 1986.
16. Federgruen A.: Markovia Control Problems. Mathematical Centre Treats 97, Amsterdam 1983.
17. Filar A.J., Shiltz T.A.: Nonlinear Programming and Stationary Strategies in Stochastic Games. Mathematical Programming,35,1986.
18. Filar J.A., Yrieze K.: Competitive Markov Decision Processes. Springer - Yerlag, New York,Inc,1997.
19. Foguel S.R.: The ergodic theory of Markov processes. Yan Nostrand Renhold Company, New York 1969.
20. Ghellinck G.T.,wyznaczania Eppem G.D.: Linear programming solution for separable Markovian decision problems. Mań Science, 13,1967.
21. Gillette D.: Stochastic Games with Zero Stop Probabilities. In A.W. Tucker, M. Dresher and P. Wolfe, editors: Contributions to the Theory of Games. Princeton University Press, Princeton, New Jersey 1957. Annals of Mathematics Studies.39.
22. Goldwerger J.: Dynamie programming for a stochastic Markovian processes with an application to the mean variance models. Mań Science 23, 1977.
23 .Hauser J.R., Wiśniewski K.J.: Dynamie analysis of consumer response to marketing strategies. Mań. Science 28,1982.
24. Hordijk A.: Dynamie programming and Markov potential theory. MCT 51, Amsterdam 1974.
25. Howard R.: Dynamie programming and Markov processes. John Wiley, New York 1960.
26. Jędrzejowicz P.: Wybrane modele decyzyjne w produkcji i eksploatacji. WKiŁ, Warszawa, 1981.
27. Kałuski J.: Markov Processes in the Control of Discrete Events Industrial Processes. ZN. Politechniki Śląskiej. Seria: AUTOMATYKAMI08, Gliwice 1994 (In Polish).
28. Kałuski J.: An n-person stochastic games with coalitions. ZN. Politechniki Śląskiej. Seria: AUTOMATYKA, z.123, Gliwice 1998. (In polish).
29. Kao E.P.: A preference order dynamic program for a stochastic traveling solesman problem. Oper. Res., 26, 1978.
30. Lee T.C., Judge G.G., Zellner A.: Estimating the parameters of the Markov probability model from aggregate time series data. North Holland, Amsrerdam 1977.
31.Liggett T., Lipman S.: Stochastic Games with Perfect Information and Time Average Payof T. SIAM Review, 11, 1969.
32. Meridith J.: A Markovian analysis of a geriatrie wards. Mań. Science 19, 1973.
33. Mertens J.F.: Stochastic Games . In R. J. Aumann and S.Hart, editors. Handbook of Gamę Theory with Economic Application. North-Holland, Amsterdam, 1992.
34. Puterman M., Shin M.: Modified policy iteration algorithm for discounted Markov decision problems. Mań. Science, 24,1978.
35. Puterman M.L.: Markov Decision Processes: Discrete Stochastic Dynamic Programming. John Wiley, New York 1994.
36. Shapley L.S.: Stochastic Games.Proceedings National Acad. Of Science, USA,39,1953|
37. Van Der Wal J.: Discounted Markov Games: Successive Approximations and Times. Internationale Journal of Gamę Theory. 6, 1977.
38. Van Der Wal J.: Stochastic Dynamie Programming, Successive Approximation and Ne Optimal Solutions for Markov Decision Processes and Markov Games. Technical Re1 1981.
39. Vorob'iovN.N.: Gamę Theory. Lectures for Economists and Systems Scientists. Sprin Yerlag, Berlin 1977.
40. Yrize O.J.: Linear Programming and Undiscounted Stochastic Games. OR Spectrum,'. 1981.
41. White D.J.: Real Applications ofMarkov Decision Processes. Interfaces, 15(6), 1985.
42. White D.J.: Markov Decision Processes. John Wiley, Chichester 1993.

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-article-BSL8-0010-0017