Metoda wyznaczania średniego czasu dojścia do stanu pochłaniającego jednorodnego łańcucha Markowa

• Autorzy: Kwiatkowski W.

Warianty tytułu

EN

A method to determine the average time to reach an absorbing state of a homogeneous Markov chain

• Języki publikacji: PL

Abstrakty

PL

Rozpatrywany jest jednorodny łańcuch Markowa o wielu stanach pochłaniających. Przedstawiona jest metoda wyznaczania średniego czasu dojścia do wybranego stanu pochłaniającego. Metoda oparta jest na rozszerzeniu zadanego łańcucha Markowa o nowe stany. Dla łańcucha rozszerzonego definiowana jest funkcja wypłat towarzysząca tranzycjom. Szczególne podejście do analitycznego rozwiązania problemu związane jest z zależnością wypłaty nie tylko od tranzycji, ale także od czasu. Rozpatrywane w artykule zadanie pojawia się przy projektowaniu interfejsów, protokołów, planowania etapowych przedsięwzięć o charakterze transportowym, produkcyjnym itp.

EN

A homogeneous Markov chain with many absorbing states is considered. A method to obtain an average time to reach a selected absorbing state is presented. The method is based on an extension of the given Markov chain with new states. For the extended Markov chain a reward function associated with transitions is defined. A particular approach to the analytical solution of the problem is based on the dependence of rewards not only on transitions, but also on time. The task considered in this paper emerges during the design of interfaces, protocols, planning of staged transport or production projects etc.

Słowa kluczowe

PL

łańcuch Markowa; łańcuch Markowa z dochodami; analiza niezawodności; analiza osiągalności

EN

Markov chain; Markov chain with rewards; phased-mission models; time-based reliability analysis; time-based availability analysis

• Wydawca: Instytut Teleinformatyki i Automatyki, Wydział Cybernetyki, Wojskowa Akademia Techniczna im. Jarosława Dąbrowskiego
• Czasopismo: Biuletyn Instytutu Automatyki i Robotyki
• Rocznik: 2012
• Tom: R. 18, nr 33
• Strony: 3--15
• Opis fizyczny: Bibliogr. 9 poz., wykr., il.

Twórcy

autor

Kwiatkowski W.

• Instytut Teleinformatyki i Automatyki WAT, ul. Gen. S. Kaliskiego 2, 00-908 Warszawa

Bibliografia

• [1] DONIGIEWICZ A. M., Application of Markov chains to quality evaluation of information entering by a computer system user, Control and Cybernetics, vol. 33 (2004), No. 4.
• [2] DONIGIEWICZ A. M., Modelowanie interakcji człowiek - komputer: problemy oceny jakości i niezawodności, Wyd. 2, Wojskowa Akademia Techniczna, Warszawa, 2005.
• [3] GRABSKI F., Semi-markowskie modele niezawodności i eksploatacji, IBS PAN, seria Badania systemowe, tom 30, Warszawa 2002.
• [4] HOWARD R. A., Dynamic programming and Markov processes. Cambridge, Massachusetts: The M.I.T. Press, 1960.
• [5] HOWARD R. A., Dynamic probabilistic systems. Volume II: Semi-Markov and decision processes. New York: John Wiley & Sons, Inc., 1960.
• [6] JAŹWIŃSKI J., GRABSKI F., Niektóre problemy modelowania systemów transportowych, Biblioteka Problemów Eksploatacji, Wydawnictwo i Zakład Poligrafii Instytutu Technologii Eksploatacji, Warszawa-Radom, 2003.
• [7] JOSIFESCU M., Skończone procesy Markowa i ich zastosowania. PWN, Warszawa 1988.
• [8] MĄKA W., Metody oceny jakości transmisji w systemach teleinformatycznych (rozprawa doktorska), Warszawa, Wojskowa Akademia Techniczna, Warszawa, 1991.
• [9] WIŚNIEWSKI A., Kojarzenie namiarów w procesie przetwarzania informacji radiolokacyjnej o obiektach zakłócających metodą identyfikacji struktury układu pomiarowego (rozprawa doktorska), Wojskowa Akademia Techniczna, Warszawa, 1990.