PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
Tytuł artykułu

Estimation of parameters of Gaussian mixture models by a hybrid method combining a self-adaptive differential evolution with the EM algorithm

Autorzy
Treść / Zawartość
Identyfikatory
Warianty tytułu
PL
Estymacja parametrów modeli mieszanin rozkładów normalnych przy pomocy metody hybrydowej łączącej samoadaptacyjną ewolucję różnicową z algorytmem EM
Języki publikacji
EN
Abstrakty
EN
In the paper the problem of learning of Gaussian mixture models (GMMs) is considered. A new approach based on hybridization of a self-adaptive version of differential evolution (DE) with the classical EM algorithm is described. In this approach, called DEEM, the EM algorithm is run until convergence to fine-tune each solution obtained by the mutation and crossover operators of DE. To avoid the problem with parameter representation and infeasible solutions we use a method in which the covariance matrices are encoded using their Cholesky factorizations. In a simulation study GMMs were used to cluster synthetic datasets differing by a degree of separation between clusters. The results of experiments indicate that DE-EM outperforms the standard multiple restart expectation-maximization algorithm (MREM). For datasets with high number of features it also outperforms the state of-the-art random swap EM (RSEM).
PL
W pracy poruszono problem uczenia modeli mieszanin rozkładów normalnych. Zaproponowano nowe podejście, nazwane DE-EM, oparte na hybrydyzacji samoadaptacyjnego algorytmu ewolucji różnicowej i klasycznego algorytmu EM. W nowej metodzie rozwiązanie otrzymane jako wynik operatorów mutacji i krzyżowania jest poddawane optymalizacji lokalnej, prowadzonej aż do momentu uzyskania zbieżności, przez algorytm EM. Aby uniknąć problemu z reprezentacją macierzy kowariancji i niedopuszczalności rozwiązań użyto metody, w której macierze kowariancji są kodowane przy pomocy dekompozycji Cholesky’ego. W badaniach symulacyjnych modele mieszanin rozkładów normalnych zastosowano do grupowania danych syntetycznych. Wyniki eksperymentów wskazują, że metoda DE-EM osiąga lepsze wyniki niż standardowa technika wielokrotnego startu algorytmu ˙ EM. Dla zbiorów danych z dużą liczbą cech, metoda osiąga lepsze wyniki niż technika losowej wymiany rozwiązań połączona z algorytmem EM.
Rocznik
Tom
Strony
109--123
Opis fizyczny
Bibliogr. 24 poz., rys., wykr.
Twórcy
autor
  • Faculty of Computer Science, Bialystok University of Technology, Białystok, Poland
Bibliografia
  • [1] J. L. Andrews and P. D. McNicholas. Using evolutionary algorithms for modelbased clustering. Pattern Recognit. Lett., 34(9):987–992, 2013.
  • [2] C. Ari, S. Aksoy, and O. Arikan. Maximum likelihood estimation of Gaussian mixture models using stochastic search. Pattern Recognit., 45(7):2804–2816, 2012.
  • [3] Christophe Biernacki, Gilles Celeux, and Gérard Govaert. Choosing starting values for the EM algorithm for getting the highest likelihood in multivariate Gaussian mixture models. Comput. Stat. Data Anal., 41(3):561–575, 2003.
  • [4] C. M. Bishop. Pattern Recognition and Machine Learning. Springer, New York, 2006.
  • [5] J. Brest, S. Greiner, B. Boskovic, M. Mernik, and V. Zumer. Self-adapting control parameters in differential evolution: A comparative study on numerical benchmark problems. IEEE Transactions on Evolutionary Computation, 10(6):646–657, 2006.
  • [6] A. E. Eiben, R. Hinterding, and Z. Michalewicz. Parameter control in evolutionary algorithms. IEEE Trans. Evol. Comput., 3(2):124–141, 1999.
  • [7] C. Fraley and A. E. Raftery. Model-based clustering, discriminant analysis, and density estimation. J. Am. Stat. Assoc., 97(458):611–631, 2002.
  • [8] G. H. Golub and C. F. van Loan. Matrix Computations. Johns Hopkins, Baltimore, MD, 1996.
  • [9] T. Hastie and R. Tibshirani. Discriminant analysis by Gaussian mixtures. J. Royal Stat. Soc. Ser. B, 58(1):155–176, 1996.
  • [10] L. Hubert and P. Arabie. Comparing partitions. J. Classif., 2(1):193–218, 1985.
  • [11] R.A. Johnson and D.W. Wichern. Applied Multivariate Statistical Analysis. Prentice Hall, 6th edition, 2007.
  • [12] W. Kwedlo. Learning finite Gaussian mixtures using differential evolution. Zeszyty Naukowe Politechniki Białostockiej. Informatyka, 5:19–33, 2010.
  • [13] W. Kwedlo. A new method for random initialization of the EM algorithm for multivariate Gaussian mixture learning. In Proceedings of the 8th International Conference on Computer Recognition Systems CORES 2013, pages 81–90. Springer, 2013.
  • [14] W. Kwedlo. A parallel EM algorithm for Gaussian mixture models implemented on a NUMA system using OpenMP. In Proceedings of the 22nd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing PDP 2014, pages 292–298. IEEE CPS, 2014.
  • [15] R. Maitra and V. Melnykov. Simulating data to study performance of finite mixture modeling and clustering algorithms. J. Comput. Graph. Stat., 19(2):354– 376, 2010.
  • [16] Ranjan Maitra. Initializing partition-optimization algorithms. IEEE/ACM Trans. Comput. Biol. Bioinforma., 6(1):144–157, 2009.
  • [17] A. M. Martinez and J. Vitria. Learning mixture models using a genetic version of the EM algorithm. Pattern Recognition Letters, 21(8):759–769, 2000.
  • [18] G. McLachlan and D. Peel. Finite Mixture Models. Wiley, New York, 2000.
  • [19] H. Permuter, J. Francos, and I. Jermyn. A study of Gaussian mixture models of color and texture features for image classification and segmentation. Pattern Recognit., 39(4):695–706, 2006.
  • [20] F. Pernkopf and D. Bouchaffra. Genetic-based EM algorithm for learning Gaussian mixture models. IEEE Trans. Pattern Analysis Mach. Intell., 27(8):1344– 1348, 2005.
  • [21] R. A. Redner and H. F. Walker. Mixture densities, maximum likelihood and the EM algorithm. SIAM Rev., 26(2):195–239, 1984.
  • [22] D.A. Reynolds, T.F. Quatieri, and R.B. Dunn. Speaker verification using adapted Gaussian mixture models. Digit. Signal Process., 10(1):19–41, 2000.
  • [23] R. Storn and K. Price. Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces. J. Glob. Optim., 11(4):341–359, 1997.
  • [24] Q. Zhao, V. Hautamäki, I. Kärkkäinen, and P. Fränti. Random swap EM algorithm for Gaussian mixture models. Pattern Recognit. Lett., 33(16):2120–2126, 2012.
Typ dokumentu
Bibliografia
Identyfikator YADDA
bwmeta1.element.baztech-1049b209-eade-4bb4-99a8-3b20d16d927d
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.