Massive simulations using MapReduce model

• Autorzy: Krupa A. , Sawicki B.

Identyfikatory

DOI

10.5604/20830157.1176574

Warianty tytułu

PL

Model MapReduce w wielokrotnych obliczeniach numerycznych

• Języki publikacji: EN

Abstrakty

EN

In the last few years cloud computing is growing as a dominant solution for large scale numerical problems. It is based on MapReduce programming model, which provides high scalability and flexibility, but also optimizes costs of computing infrastructure. This paper studies feasibility of MapReduce model for scientific problems consisting of many independent simulations. Experiment based on variability analysis for simple electromagnetic problem with over 10,000 scenarios proves that platform has nearly linear scalability with over 80% of theoretical maximum performance.

PL

W ostatnich latach chmury obliczeniowe stały się dominującym rozwiązaniem używanym do wielkoskalowych obliczeń numerycznych. Najczęściej są one oparte o programistyczny model MapReduce, który zapewnia wysoką skalowalność, elastyczność, oraz optymalizację kosztów infrastruktury. Artykuł w analityczny sposób przedstawia wykorzystanie MapReduce w rozwiązywaniu problemów naukowych złożonych z wielu niezależnych symulacji. Przeprowadzony eksperyment, złożony z ponad 10 000 przypadków, oparty o analizę zmienności pola elektromagnetycznego pokazuje niemal liniową skalowalność platformy i jej ponad 80% wydajności w stosunku do teoretycznego maksimum.

Słowa kluczowe

EN

mapreduce; cloud computing; platform performance; hadoop

PL

mapreduce; chmura obliczeniowa; wydajność platformy; hadoop

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2015
• Tom: nr 4
• Strony: 45--47
• Opis fizyczny: Bibliogr. 10 poz., rys., tab.

Twórcy

autor

Krupa A.

• Politechnika Warszawska, Instytut Elektrotechniki Teoretycznej i Systemów Informacyjno-Pomiarowych

autor

Sawicki B.

• Politechnika Warszawska, Instytut Elektrotechniki Teoretycznej i Systemów Informacyjno-Pomiarowych

Bibliografia

• [1] Barker A., Varghese B., Ward J.S., Sommerville I.: Academic Cloud Computing Research: Five Pitfalls and Five Opportunities, in 6th USENIX Workshop on Hot Topics in Cloud Computing, 2014.
• [2] Cunha A. Jr., Nasser R., Sampaio R., Lopes H., Breitman K., Uncertainty quantification through the Monte Carlo method in a cloud computing setting, vol. 185, 2014, 1355–1363.
• [3] D’Angelo G., Marzolla M.: New trends in parallel and distributed simulation: From many-cores to Cloud Computing, Simul. Model. Pract. Theory, 2014, 126.
• [4] Kim B.S., Lee S.J., Kim T.G.: MapReduce Based Experimental Frame for Parallel and Distributed Simulation Using Hadoop Platform, in Proceedings 28th European Conference on Modelling and Simulation, 2012.
• [5] Kondo D., Javadi B., Malecot P., Cappello F., Anderson D.P., Berkeley U.C., Cost-Benefit Analysis of Cloud Computing versus Desktop Grids, 2009.
• [6] Sakellari G., Loukas G., A survey of mathematical models, simulation approaches and testbeds used for research in cloud computing, Simul. Model. Pract. Theory, vol. 39, 2013, pp. 92103.
• [7] Amazon EC2 Pricing, http://aws.amazon.com/ec2/pricing/, access date: [13.08.2015]
• [8] Apache Hadoop project, http://hadoop.apache.org, access date: [21.01.2015]
• [9] Google Cloud Platform Pricing, https://cloud.google.com/compute/pricing/, access date: [13.08.2015]
• [10] Microsoft Azure Pricing, https://azure.microsoft.com/en-gb/pricing/calculator/, access date: [13.08.2015]