Przegląd możliwości wykorzystania łańcuchów Markowa w rozwiązaniu tomograficznego problemu odwrotnego metodami Monte Carlo

Romanowski, A.; Grudzień, K.; Sankowski, D.

Artykuł - szczegóły

Tytuł artykułu

Przegląd możliwości wykorzystania łańcuchów Markowa w rozwiązaniu tomograficznego problemu odwrotnego metodami Monte Carlo

Autorzy

Romanowski A. , Grudzień K. , Sankowski D.

Treść / Zawartość

Pełne teksty:

Pobierz

Identyfikatory

Warianty tytułu

Markov chain applications to tomographical inverse problem with Monte Carlo methods - a review

Języki publikacji

Abstrakty

Rozwiązanie problemu odwrotnego w tomografii pojemnościowej wymaga pokonania wielu matematycznych, a co za tym idzie, także obliczeniowych trudności. Problemy te występują zarówno w przypadku, gdy rozwiązaniem ma być zrekonstruowany obraz, jak i dla rozwiązań dających w wyniku oszacowanie wartości wybranych parametrów procesu (np. wartość koncentracji materiału obliczona w oparciu o przetwarzanie tomogramów). W niniejszym artykule przedstawiono cechy metod Monte Carlo łańcuchów Markowa {Markov chain Monte Carlo - MCMC), których zastosowanie może być jednym ze sposobów rozwiązania zagadnienia odwrotnego. Opisane zostały także specyficzne własności algorytmów MCMC, przeprowadzono dyskusję na temat użycia miar funkcji gęstości prawdopodobieństwa a posteriori, konstruowania odpowiednich łańcuchów Markowa, strategii uaktualniania wartości proponowanych, wartości początkowych, wyznaczania okresu początkowego i zakończenia, a także walidacji wyników oraz przeprowadzono przegląd zastosowań rozpatrywanych metod w celu wykazania ich uniwersalności i - co za tym idzie - ewentualnej przydatności dla potrzeb ECT.

In order to solve capacitance tomography inverse problem, a number of mathematical difficulties needs to be overcame. These problems exist no matter the if the solutions is the reconstructed image, or an estimation of process parameters (i.e. material concentration value calculated on the basis of post processed tomograms). This paper presents properties of Markov chain Monte Carlo (MCMC) methods, which application can be a way to solve the inverse problem. Paper covers the specific properties of MCMC algorithms, discussion about using the measures of a posteriori probability density functions, construction of appropriate Markov chains, strategies for proposed values updates, initial values, determination of initial, transient period length and termination, and results validation. The last is a review of possible applications of discussed methods in order to prove its general character and moreover, eventual usefulness for ECT.

Słowa kluczowe

łańcuchy Markowa MCMC problem odwrotny w tomografii elektrycznej

Markov chain MCMC electrical tomography inverse problem

Wydawca

Wydawnictwa AGH

Czasopismo

Automatyka / Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie

Rocznik

2009

Tom

T. 13, z. 3/2

Strony

1345--1360

Opis fizyczny

Bibliogr. 70 poz., wykr., tab.

Twórcy

autor

Romanowski A.

Katedra Informatyki Stosowanej, Politechnika Łódzka

autor

Grudzień K.

Katedra Informatyki Stosowanej, Politechnika Łódzka

autor

Sankowski D.

Katedra Informatyki Stosowanej, Politechnika Łódzka

Bibliografia

[1] Berryman J.G., Lecture notes on nonlinear inversion and tomography. http://sepwww.stanford. edu/sep/berryman/NOTES/lecture_notes.html, 2001.
[2] Engl H.W., Hanke M., Neubauer A., Regularization of Inverse Problems. Kluwer Academic Publishers, 1996.
[3] Hadamard J., Sur les problemes aux derivees partielles et leur signification physique. Princeton University Bulletin, 1902, 49-52.
[4] Twomey S., Introduction to the Mathematics of Inversion in Remote Sensing and Indirect Measurements. Dover Publications, 1977.
[5] West R.M., Aykroyd R.G., Meng S, Williams R.A., MCMC techniques and spatial-temporal modelling for medical EIT. Physiol. Meas., 25, 2004, 181-194.
[6] Romanowski A., Grudzień K., Zestawienie Metod Rekonstrukcji Obrazów i Modelowania Przestrzennego 2D dla Tomografii Procesowej. Automatyka (półrocznik AGH), vol. 9/3, 2005, 621— 630.
[7] Yang W.Q., Peng L., Image reconstruction algorithms for electrical capacitance tomography. Meas. Sei. Technol. 14 ppl-13. Romanowski A., Grudzień К., Williams R.A., Aykroyd R.G., West R.M., Meng S., (2004), Podejście Bayesa w przemysłowych systemach kontroli i sterowania, Seminarium „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania" Słok k/Bełchatowa, Automatyka (półrocznik AGH), 8/3, 2003, 217-222.
[8] Romanowski A., Grudzień K., Williams R.A., Aykroyd R.G., West R.M., Meng S., Podejście Bayesa w przemysłowych systemach kontroli i sterowania. Seminarium „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania" Słok k/Bełchatowa, Automatyka (półrocznik AGH), 8/3, 2004, 217-222.
[9] Wiatr K., Sprzętowe implementacje algorytmów przetwarzania obrazów w systemach wizyjnych czasu rzeczywistego. Wydawnictwa Naukowo-Dydaktyczne AGH, 2002.
[10] Liddle A.R., Information criteria for astrophysical model selection. Monthly Notices of the Royal Astronomical Society: Letters, vol. 377, Nr 1, 2007, L74-L78(l).
[11] Beaumont M.A., Rannala В., The Bayesian revolution in genetics. Nature Reviews Genetics 5, 2004, 251-261.
[12] George E.I., McCulloch R.E., Fast Bayes variable selection. CSS technical report, University of Texas, Austin, 1994.
[13] Zhang G., Leong P.H.W., Ho C.H., Tsoi K.H., Cheung C.C.C., Lee D., Cheung R.C.C., Luk W., Reconfigurable acceleration for Monte Carlo based financial simulation. In Proc. IEEE International Conference on Field-Programmable Technology (FPT), Singapore, 2005.
[14] Gelfand A.E., Paliwal P, Abraham L., Barlow W., Elmore J., Chronological Event Modeling For Screening Mammography. Statistics in Medicine, 24, 2005.
[15] Diebolt J., Robert C, Estimation of finite mixture distributions through Bayesian sampling. J.R. Statist. Soc. B, 56, 1994, 363-376.
[16] Gelfand A.E., Discussion to: Statistical Research: Some Advice for Beginners. The American Statistician, 58, 2004, 197-199.
[17] Pettit L.I., Young K.D.S., Measuring the effect of observations on Bayes factors. Biometrika, 77, 1990, 455-466.
[18] Neyman J., Scott E.L., Consistent estimates based on partially consistent observations. Econome-trica, 16, 1948, 1-32.
[19] Cox D.R., Tests of separate families of hypotheses. In Proceedings of the 4th Berkeley Symposium, vol 1, Berkeley, University of California Press, 1961, 105-123.
[20] D'Agostino R.B., Stephens M.A., Goodness of Fit Techniques. New York, Marcel Dekker, 1986.
[21] McCullagh P., Neider J. A., Generalized Linear Models. London, Chapman k. Hall, 1989.
[22] Whittaker J., Graphical Models in Applied Multivariate Statistics. Chichester, Wiley, 1990.
[23] Gelfand A.E., Sahu S., Discussion to "On Model Expansion, Model Contraction. Identifiability and prior Information: Two Illustrative Scenarios Involving Mismeasured Variables, Statistical Science, 20, 2005, 130-131.
[24] Bedard M., Weak convergence of Metropolis algorithms for non-IID target distributions. Submitted to Ann. Appl. Prob., 2006.
[25] Romanowski A., Grudzień K., Modelowanie czasowe w systemach przepływu pneumatycznego z zastosowaniem łańcuchów Markowa i Metody Monte Carlo. Seminarium „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania" Słok k/Bełchatowa, Automatyka (półrocznik AGH), 8/3, 2004, 409^114.
[26] Neal P., Roberts G.O., Yuen J., Optimal Scaling of Random Walk Metropolis algorithms with Discontinuous target densities. MIMS EPrint: 2007.91, University of Manchester, 2007.
[27] Breyer L., Roberts G.O., From Metropolis to diffusions: Gibbs states and optimal scaling. Stochastic Process. Appl., 90, 2000, 181-206.
[28] Neal P. J., Roberts G.O., Optimal Scaling for partially updating MCMC algorithms. Ann. Appl. Prob., 16, 2006, 475-515.
[29] Roberts G.O., Rosenthal J.S., Optimal scaling for various Metropolis-Hastings algorithms. Statist. Science, 16, 2001, 351-367.
[30] Roberts G.O., Gelman A., Gilks W.R., Weak convergence and optimal scaling of Random walk Metropolis algorithms. Ann. Appl. Prob., 7, 1997, 110-120.
[31] Jennison C, Discussion on the meeting on the Gibbs sampler and other Markov chain Monte Carlo methods. J.R. Statist. Soc. B, 55, 1993, 54-56.
[32] Carlin B.P., Louis T.A., Bayes and Empirical Bayes Methods for Data Analysis. 2000, 419.
[33] Priestley M.B., Spectral Analysis and Time Series. London, Academic Press, 1981.
[34] Besag J., Green P.J., Spatial statistics and Bayesian computation. J. Roy. Statist. Soc. Ser. B 55, 1993, 25-37.
[35] Fosdick L.D., Monte Carlo calculations on the Ising lattice. Meth. Comput. Phys., 1, 1963, 245-280.
[36] Zellner A., Min C, Gibbs sampler convergence criteria. Technical report, Graduate School of Business, University of Chicago, 1994.
[37] Cui L., Tanner M.A., Sinha D., Hall W.J., Monitoring convergence of the Gibbs sampler: further experience with the Gibbs stopper. Statist. Sei., 7, 1992, 483-86.
[38] Cox D.R., Miller H.D., The theory of Stochastic Processes. London, Chapman & Hall, 1965.
[39] Schwarz G., Estimating the dimension of a model. Ann. Statist., 6, 1978, 461-64.
[40] Kiefer J., Journal of the American Statistical Association. 72, 1977, 789-827.
[41] Kass R.E., Tierney L., Kadane J.B., Asymptotics in Bayesian computation (with discussion). [w:] Bayesian Statisistics 3, (eds J.M. Bernardo, M.H. DeGroot, D.V. Lindley, A.F.M. Smith), Oxford University Press, 1988, 261-278.
[42] Hastings W.K., Monte Carlo Sampling Methods Using Markov Chains and Their Applications. Biometrika, 57(1), 1970, 97-109.
[43] Geman S., Geman D., Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images. IEEE Trans. Pattn. Anal. Mach. Intel., 6, 1984, 721-741.
[44] Metropolis N., Rosenbluth A.W., Rosenbluth M.N., Teller A.H., Teller E., Equations of state calculations by fast computing machines. J. Chem. Phys., 21, 1953, 1087-1092.
[45] Green P.J., Discussion on representation of knowledge in complex systems (by U. Grenander and M.I. Miller). J. R. Statist. Soc. B, 56, 1994a, 589-590.
[46] Green P.J., Reversible jump MCMC computation and Bayesian model determination. Mathematics, Research Report, University of Bristol, 1994b.
[47] Gilks W.R., Richardson S., Spiegelhalter DJ., Markov Chain Monte Carlo m Practice. London, Chapman & Hall, 1995, 75-88.
[48] Liu C, Liu J., Discussion on the meeting on the Gibbs sampler and other Markov chain Monte Carlo methods. J.R. Statist. Soc. B, 55, 1993, 82-83.
[49] Amit Y., On rates of convergence of stochastic relaxation for Gaussian and non-Gaussian distributions. J. Mult.Anal., 38, 1991, 82-99.
[50] Tierney L., Markov chains for exploring posterior distributions (with discussion). Ann. Statut., 22, 1994, 1701-1762.
[51] Roberts G.O., Markov chain concepts related to sampling algorithmms. [w:] Markov Chain Monte Carlo in Practice (eds W.R. Gilks, S. Richardson and DJ. Spiegelhalter). London, Chapman & Hall, 1995, 45-57.
[52] Besag J.E., Green P., Higdon D., Mengersen K., Bayesian computation and stochastic systems. Statist. Science, 10, 1995, 3-66.
[53] Zeger S.L., Karim M.R., Generalized linear models with random effects: a Gibbs sampling approach. J. Am. Statist. Ass., 86, 1991, 79-86.
[54] Gelfand A.E., Smith A.F.M., Sampling-based approaches to calculating marginal densities. J. Am. Statist. Ass., 85, 1990, 398-409.
[55] Gelman A., Rubin D.B., A single series from the Gibbs sampler provides a false sense of security. [w:] Bayesian Statistics (eds J.M. Bernardo, J. Berger, A.P. Dawid and A.F.M. Smith), Oxford, Oxford University Press, 1992a, 625-631.
[56] Gelman A., Rubin D.B., Inference from iterative simulation using. 1992b.
[57] Geyer C.J., Practical Markov chain Monte Carlo. Statist. Sei., 7, 1992, 473-511.
[58] Cowles M.K., Carlin B.P., Markov chain Monte Carlo convergence diagnostics: a coraparative review. Technical Report 94-008, Division of Biostatistics, School of Public Health, University of Minnesota, 1994.
[59] Raftery A.E., Lewis S.M., How many iterations in the Gibbs sampler? [w:] Bayesian Statistics 4 (red. J.M. Bernardo, J.O. Berger, A.P. Dawid, A.F.M. Smith). Oxford, Oxford University Press, 1992a, 765-776.
[60] Raftery A.E., Lewis S.M., One long run with diagnostics: implementation strategies for Markov chain Monte Carlo. Statist. Sei., 7, 1992b, 493^97.
[61] Geweke J., Evaluating the accuracy of sampling-based approaches to the calculation of posterior moments, [w:] Bayesian Statistics 4 (red. J.M. Bernardo, J. Berger, A.P. Dawid and A.F.M. Smith). Oxford, Oxford University Press, 1992, 169-193.
[62] Ritter О., Tanner M.A., Facilitating the Gibbs sampler: the Gibbs stopper and the griddy-Gibbs sampler. J. Am. Statist. Ass., 87, 1992, 861-868.
[63] Hills S.E., Smith A.F.M., Parameterization issues in Bayesian inference, [w:] Bayesian Statistics 4 (red. J.M. Bernardo, J. Berger, A.P. Dawid, A.F.M. Smith). Oxford, Oxford University Press, 1992, 227-246.
[64] Müller P., A generic approach to posterior integration and Gibbs sam-pling. Technical Report, Institute of Statistics and Decision Sciences, Duke University, 1991.
[65] Raftery A.E., Banfield J.D., Stopping the Gibbs sampler, the use of morphology, and other issues in spatial statistics. Ann. Inst. Statist. Math., 43, 1991, 32-3.
[66] Grimmett G.R., Stirzaker D.R., Probability and Random Processes. 2nd edn. Oxford, Oxford University Press, 1992.
[67] Liu J.S., Monte Carlo Strategies in Scientific Computing. Mathematics, 2001, 360.
[68] Winkler G., Image Analysis, Random Fields and Markov Chain Monte Carlo Methods. A Mathematical Introduction, Springer Series: Stochastic Modelling and Applied Probability, vol. 27, 2nd ed., XVI, 2006, 389.
[69] Li S.Z., Markov Random Field Modeling in Image Analysis. Springer Series: Computer Science Workbench, 2nd ed., XIX, 2001, 323.
[70] Romanowski A., Algorytmy modelowania przestrzennego i czasowego dla potrzeb przetwarzania danych w systemach procesowej tomografii pojemnościowej. Katedra Informatyki Stosowanej Politechniki Łódzkiej, 2008 (Praca doktorska).

Typ dokumentu

Bibliografia

Identyfikator YADDA

bwmeta1.element.baztech-article-AGH1-0022-0054