Approximation algorithm supported on minimizing the Kullback-Leibler information divergence in some class of dynamical systems

• Autorzy: Owedyk J. , Mathia Z. , Zarzycki H.

Warianty tytułu

PL

Algorytm aproksymacyjny w oparciu o informację Kullbacka-Leiblera w pewnej klasie systemów dynamicznych

• Języki publikacji: EN

Abstrakty

EN

In this work an algorithm is presented for creating approximate solutions in some class of dynamical systems describing the time evolution probability densities. The approximate solutions are obtained by minimizing Kullback- Leibler divergence under some constrains. It is shown that the derivatives of the Kullback-Leibler divergence for exact solutions and for approximate solutions are described by the same formula. In consequence if in a dynamical system the Kullback-Leibler divergence decreases in time for exact solutions, it also decreases for approximate solutions.

PL

W pracy przedstawiono algorytm, który umożliwia skonstruowanie przybliżonych rozwiązań dla pewnej klasy systemów dynamiczych opisujących ewolucję w czasie gęstości prawdopodobieństwa. Przybliżone rozwiązania otrzymujemy minimalizując informację Kullbacka-Leiblera przy dodatkowych warunkach. Wykazano, że pochodna informacji Kullbacka-Leiblera dla dokładnych i przybliżonych rozwiązań jest opisana przez tą samą formułę. W konsekwencji gdy w dynamicznym systemie maleje informacja Kullbacka-Leiblera dla dokładnych rozwiązań to także maleje dla przybliżonych rozwiązań.

Słowa kluczowe

EN

approximation algorithm; Kullback-Leibler divergence minimization methods; Fokker-Planck equation

PL

algorytm aproksymacyjny; informacja Kullbacka-Leiblera; metoda minimalizacji; równanie Fokkera-Plancka

• Wydawca: Wrocławska Wyższa Szkoła Informatyki Stosowanej "Horyzont"
• Czasopismo: Biuletyn Naukowy Wrocławskiej Wyższej Szkoły Informatyki Stosowanej. Informatyka
• Rocznik: 2015
• Tom: vol. 5
• Strony: 12--18
• Opis fizyczny: Bibliogr. 9 poz., rys.

Twórcy

autor

Owedyk J.

• Department of Informatics, Kujawy and Pomorze University, Bydgoszcz, Poland

autor

Mathia Z.

• Department of Informatics, Kujawy and Pomorze University, Bydgoszcz, Poland

autor

Zarzycki H.

• Faculty of Computer Science, Wroclaw School of Information Technology, ul. Wejherowska 28,54-239 Wrocław, Poland

Bibliografia

• [1] R. Graham, “Springer Tract in Modern Physics”, Springer-Verlag, Berlin, vol. 66, 1973.
• [2] S. Kullback, R.Leibler, “On information and sufficiency”, Ann. Math. Stat., vol. 22, pp 79-86, 1951.
• [3] S. Kullback, “Information theory and statistic”, Wiley, New York,1959.
• [4] J. Owedyk, “ Investigation of stability of information gain solutions of a Fokker-Planck equation”, Acta Phys. Polon., Vol. A63, no. 3, pp (317-327), 1983.
• [5] J. Owedyk, “Stability of a stationary distribution of a Master Equation with respect to information gain solutions”, Z. Phys. B, vol. 54, pp (183-186), 1984.
• [6] J. Owedyk, “On the Fokker-Plank equation with timedependent drift diffusion coefficients and its exponential solutions”, Z. Phys. B, vol. 59, pp (69-74),1985.
• [7] J. Owedyk, “On the master equation with time-dependent transition probabilities”, Phys. Lett., vol 109, pp (152-154), issue 20 may 1985.
• [8] H. Risken, “The Fokker-Planck equation”, Springer-Verlag, Berlin, 1996.
• [9] J. la Salle ,S. Lefschetz, “Stability by Liapunov’s direct method”, New York, London, Academic Press,1961.