Wyniki wyszukiwania - BazTech

1

Scaling evolutionary programming with the use of apache spark

Funika W., Koperek P.

Computer Science

|

2016

|

Vol. 17 (1)

69--82

EN

Organizations across the globe gather more and more data, encouraged by easy-to-use and cheap cloud storage services. Large datasets require new approaches to analysis and processing, which include methods based on machine learning. In particular, symbolic regression can provide many useful insights. Unfortunately, due to high resource requirements, use of this method for large-scale dataset analysis might be unfeasible. In this paper, we analyze a bottleneck in the open-source implementation of this method we call hubert. We identify that the evaluation of individuals is the most costly operation. As a solution to this problem, we propose a new evaluation service based on the Apache Spark framework, which attempts to speed up computations by executing them in a distributed manner on a cluster of machines. We analyze the performance of the service by comparing the evaluation execution time of a number of samples with the use of both implementations. Finally, we draw conclusions and outline plans for further research.

2

An agent-based hierarchical approach for executing bag-of-tasks in clouds

Funika W., Mazurek K., Kruczkowski W.

Computer Science

|

2014

|

Vol. 15 (1)

35--60

EN

Unlike message-passing applications, “bag-of-tasks” applications (BoTs), whose tasks are unrelated and independent (no inter-task communication), can be highly parallelized and executed in any acceptable order. A common practice when executing bag-of-tasks applications (BoT) is to exploit the master-slave topology. Cloud environments offer some features that facilitate the execution of BoT applications. One of the approaches to control-cloud resources is to use agents that are flexible actors in a dynamic environment. Given these assumptions, we have designed a combination of approaches which can be classified as distributed, hierarchical solutions to the issue of scalable execution of bag-of-tasks. The concept of our system relates to a project that is focused on processing huge quantities of incoming data from a network of sensors through the Internet. Our aim is to create a mechanism for processing such data as a system that executes jobs while exploiting load balancing for cloud resources which use applications such as Eucalyptus. The idea is to create a hybrid architecture which takes advantage of some centralized parts of the system and full distributedness in other parts. On the other hand, we balance dependencies between system components using a hierarchical master-slave structure.

3

Data storage management using AI methods

Funika W., Szura P.

Computer Science

|

2013

|

Vol. 14 (2)

177--190

EN

Data management and monitoring is an important issue in scientific computation. Scientists want to access their data as quickly as possible. Some experiments need to store a lot of data which have to be secure. By saying this we mean that this data can not disappear or be damaged also the data storage should be as cheap as possible. In this paper we present an approach to the automation of monitoring and management of data storage. We introduce a knowledge based system which is able to manage data, i.e., make decisions on migrating data, replicating or removing it. We discuss some of the existing solutions which are popular on the market. In this paper we aim to present our system which uses such AI techniques like fuzzy logic or a rule-based expert system to deal with data storage management. We exploit in this system a cost model to analyze the proposed solutions. The operations performed by our system are aimed to optimize the usage of the monitored infrastructure.

4

Automatic proxy generation and load-balancing-based dynamic choice of services

Dąbrowski J., Feduniak S., Baliś B., Bartyński T., Funika W.

Computer Science

|

2012

|

Vol. 13 (3)

45-59

EN

The paper addresses the issues of invoking services from within workflows which are becoming an increasingly popular paradigm of distributed programming.The main idea of our research is to develop a facility which enables load balancing between the available services and their instances. The system consists of three main modules: a proxy generator for a specific service according to its interface type, a proxy that redirects requests to a concrete instance of the service and load-balancer (LB) to choose the least loaded virtual machine (VM) which hosts a single service instance. The proxy generator was implemented as a bean (in compliance to EJB standard) which generates proxy according to the WSDL service interface description using XSLT engine and then deploys it on a GlassFish application server using GlassFish API, the proxy is a BPEL module and load-balancer is a stateful Web Service.

5

Agent-based monitoring using fuzzy logic and rules

Funika W., Szura F., Kitowski J.

Computer Science

|

2011

|

Vol. 12

103-113

PL

W pracy przedstawiono system agentowy, który pozwala na monitoring rozproszonych systemów. Każdy agent posiada własną wiedzę na temat możliwych reakcji na zaobserwowane sytuacje, np. awarie. W artykule przedstawiamy koncepcję automatyzacji monitoringu nazwaną SAMM compliant Agent. Jest ona rozszerzeniem systemu SAMM. Do opisu wiedzy użyte zostały zbiory rozmyte, a także reguły, przy czym reguły używane są do określenia prostych czynności, które może wykonać dany agent. W zaimplementowanej wersji reguły służą jako statyczna wiedza, natomiast logika rozmyta została wykorzystana jako główna idea reprezentacji wiedzy w przedstawionych agentach, z których każdy zarządza swoim segmentem wiedzy i może swoją wiedzę przekazywać innym agentom.

EN

In this paper we present two solutions ofmonitoring automation for distributed systems. We develop this system to automate monitoring of distributes systems. Both solutions are aimed to monitor data storage and web services like web page servers. The first solution implemented in a system called Saude-Net, is an rule-based top level monitoring tool. In this system there are implemented rules which provide conditions which refer to one or more measured values. This system is able to choose the best action for an observed situation, e.g. a failure. It is possible to define more than one rule which relate to the same monitoring resource. The second concept presented in this paper refers to a fuzzy logic agent based approach to network monitoring. It is called SAMM compliant Agent. It is an extension to the Semantic-based Autonomous Monitoring and Management system (SAMM). On the one hand, it uses rules to define simple actions, based on a simple condition and an action description. On the other hand the main knowledge of this solution is defined by fuzzy logic. This system is able to manage and modify its knowledge to better fit to monitored resources. The knowledge in this concept is distributed among all the agents. The agents residing on a different hosts handle their parts ofthe knowledge and are capable to share/exchange them.

6

Towards autonomic semantic-based management of distributed applications

Funika W., Kupisz M., Koperek P.

Computer Science

|

2010

|

Vol. 11

51-63

EN

In this paper we present our approach to the management of distributed systems based on semantic description of available resources. We use ontologies for a semantic description of the monitored system and other aspects of monitoring and management (such as metrics) and introduce a feedback loop on underlying infrastructure. Such an approach allows to automate monitoring and the ease the work of administrator. We introduce concepts behind a novel automatic management system, SAMM, developed within our research. We discuss the core mechanisms used in the system - the estimation of future measurements, approach to knowledge gathering, and the process of decision making. Then we provide some details on the architecture and implementation of SAMM.

PL

Publikacja ta przedstawia nowe podejście do zagadnień monitorowania i zarządzania systemami rozproszonymi, wykorzystujące ontologiczny opis zasobów przez nie udostępnianych. Podejście to wykorzystuje ontologie do opisu semantycznego monitorowanego systemu, a także innych aspektów monitorowania i zarządzania nim (np. dostępne metryki) oraz wprowadza sprzężenie zwrotne na monitorowanej infrastrukturze. Pozwala to na automatyzację procesu monitorowania i zarządzania w celu ułatwienia pracy administratora. Publikacja opisuje także działanie nowatorskiego systemu SAMM, który powstał w wyniku badań. Przedstawione zostały również koncepcje dotyczące estymacji pomiarów, tworzenia baz wiedzy oraz procesu podejmowania decyzji. Artykuł opisuje zarówno architekturę SAMM-a, jak i szczegóły implementacyjne.

7

SLA-oriented semi-automatic management of data storage and applications in distributed environments

Król D., Funika W., Słota R., Kitowski J.

Computer Science

|

2010

|

Vol. 11

37-50

EN

In this paper we describe a semi-automatic programming framework for supporting users with managing the deployment of distributed applications along with storing large amounts of data in order to maintain Quality of Service in highly dynamic and distributed environments, e.g., Grid. The Polish national PL-GRID project aims to provide Polish science with both hardware and software infrastructures which will allow scientists to perform complex simulations and in-silico experiments on a scale greater than ever before. We highlight the issues and challenges related to data storage strategies that arise at the analysis stage of user requirements coming from different areas of science. Next we present a solution to the discussed issues along with a description of sample usage scenarios. At the end we provide remarks on the current status of the implementation work and some results from the tests performed.

PL

Artykuł opisuje semiautomatyczny szkielet aplikacyjny służący do wsparcia procesu wdrażania aplikacji oraz składowania dużych ilości danych w środowiskach rozproszonych z uwzględnieniem parametrów jakościowych. Projekt PL-Grid ma na celu wsparcie polskiej nauki w celu umożliwienia naukowcom przeprowadzania złożonych eksperymentów typu in-silico na skalę wiekszą niż dotychczas. W artykule zostały opisane wyzwania związane ze strategiami zarządzania wielkimi ilościami danych, zdefiniowane w fazie analizowania wymagań użytkowników projektu PL-Grid. Zostały również opisane proponowane rozwiązania omawianych problemów, opis przykładowych scenariuszy użycia oraz aktualny stan prac implementacyjnych i rezultaty przeprowadzonych testów.

8

The ATLAS experiment on-line monitoring and filtering as an example of real-time application

Korcyl K., Szymocha T., Funika W., Kitowski J., Słota R., Bałos K., Dutka Ł., Guzy K., Kryza T., Pieczykolan J.

Computer Science

|

2008

|

Vol. 9

77-86

EN

The ATLAS detector, recording LHC particles' interactions, produces events with rate of 40 MHz and size of 1.6 MB. The processes with new and interesting physics phenomena are very rare, thus an efficient on-line filtering system (trigger) is necessary. The asynchronous part of that system relays on few thousands of computing nodes running the filtering software. Applying refined filtering criteria results in increase of processing times what may lead to lack of processing resources installed on CERN site. We propose extension to this part of the system based on submission of the real-time filtering tasks into the Grid.

PL

Detektor ATLAS, rejestrujący zderzenia protonów rozpędzanych w zderzaczu LHC, będzie generował przypadki o rozmiarze 1.6MB z częstotliwością 40MHz. Aby wyselekcjonować bardzo rzadko występujące przypadki z interesującymi oddziaływaniami fizycznymi, konieczne będzie zastosowanie wydajnego systemu filtracji (trigger). Część asynchroniczna takiego systemu wykorzystuje kilka tysięcy komputerów, na których wykonywane jest oprogramowanie filtrujące. Zwiększenie selektywności systemu wymaga zwiększenia czasu procesowania, co może doprowadzić do wyczerpania zasobów komputerowych zainstalowanych w CERN-ie. Proponujemy rozszerzenie tej części systemu poprzez umożliwienie wykonywania oprogramowania filtrującego w czasie rzeczywistym na komputerach w środowisku gridowym.

9

Rozwój środków i narzędzi informatyki dla potrzeb symulacji i budowy aplikacji gridowych

Kitowski J., Boryczko K., Bubak M., Dzwinel W., Funika W., Słota R.

Pomiary Automatyka Kontrola

|

2007

|

R. 53, nr 3

26-40

PL

W artykule przedstawiono zasadnicze wyniki prac uzyskane w okresie ostatnich kilku lat w Grupie Systemów Komputerowych Katedry Informatyki AGH oraz kierunki dalszych badań. Poruszane zagadnienia dotyczą opracowania warstwy pośredniej infrastruktury rozproszonej i gridowej dla potrzeb obliczeń o dużym nakładzie z zakresu eScience i aplikacji biznesowych, rozwoju i efektywnej implementacji rozproszonych algorytmów z zakresu biotechnologii i zastosowań medycznych, jak również metod i implementacji ontologicznej reprezentacji wiedzy i algorytmów rozwoju bazy wiedzy la potrzeb tworzenia organizacji wirtualnych w zakresie wspomagania obliczeń i zwiększenia ich elastyczności w wymienionych obszarach problemowych.

EN

Some main results of the research recently obtained by Computer Systems Group of the Department of Computer Science are presented in the paper. They are supported by descriptions of future plans and further development. The achievements include architecture of grid middleware for high performance computing and business applications, tools for grid computing, parallel algorithms for mezoscopic simulations and clustering, ontological representation and management of knowledge as well as virtual organizations.

10

Interoperability of monitoring-related tools

Funika W., Janik A.

Computer Science

|

2005

|

Vol. 7

63-76

EN

Networking, distributed and grid computing have become the commonly used paradigms of programming. Due to the complicated nature of distributed and grid systems and the increasing complexity of the applications designed for these architectures, the development process needs to be supported by different kinds of tools at every stage of a development process. In order to avoid improper influences of one tool to another these tools must cooperate. The cooperation ability is called interoperability. Tools can interoperate on different levels, from exchanging the data in common format, to a semantical level by executing some action as a result of an event in another tool. In this paper we present some interoperability models, with focus on their advantages and major problems due to their use. We also present an interoperability model designed and used in the JINEXT extension to OMIS specification, intended to provide interoperability for OMIS-compliant tools.

PL

Przetwarzanie rozproszone i gridowe jest obecnie dominującym paradygmatem obliczeniowym. Skomplikowany charakter systemów rozproszonych i gridowych oraz rosnąca złożoność projektowanych aplikacji sprawia, że na każdym etapie tworzenia systemu informatycznego konieczne staje się użycie narzędzi wspierających ten proces. Aby uniknąć zakłócenia pracy jednego narzędzia przez prace innego, narzędzia te muszą współpracować. Zdolność ta nazywana jest interoperabilnością. Interoperabilność można rozpatrywać na kilku poziomach, począwszy od wspólnego formatu danych, a skończywszy na poziomie semantycznym, na którym jedno z narzędzi reaguje wykonaniem pewnej akcji w odpowiedzi na zdarzenie wygenerowane przez inne z narzędzi. W artykule przedstawiono kilka modeli interoperabilności, opisując zalety i wady każdego z nich. Przedstawiono równiez model zastosowany w JINEXT, rozszerzeniu specyfikacji OMIS o mechanizm interoperabilności.

11

Large scale computing as a vehicle for studies in computational and computer sciences

Kitowski J., Alda W., Boryczko K., Bubak M., Dzwinel W., Funika W., Mościński J., Nikolow D., Pogoda M., Słota R., Wcisło R

Zeszyty Naukowe Uniwersytetu Jagiellońskiego. Prace Informatyczne

|

2000

|

z. 10

51-68

EN

In this paper we present some methods and algorithms for large scale computing which cover different areas of computational and computer sciences. They concern particle models, CFD computing, animation, monitoring and predicting of application performance as well as scientific visualization and scientific data storing and retrieving.

12

Narzędzia do analizy jakości programów równoległych opartych na przesyłaniu komunikatów

Funika W.

Computer Science

|

1999

|

Vol. 1

139-160

PL

W artykule przedstawiono zagadnienia związane z opracowaniem i zastosowaniem narzędzi do analizy jakości działania programów równoległych wykorzystujących paradygmat przesyłania komunikatów, m.in. MPI i PVM. Dla programów równoległych są opracowane specjalne metody badań, których implementacjami są przedstawiane narzędzia i zestawy narzędzi. Przedstawia się pojęcie obserwowalności jakości działania programu oraz jego składowych: zbierania danych, analizy i prezentacji. W ostatnim dziesięcioleciu powstał szereg interesujących rozwiązań programowych i programowo-sprzętowych narzędzi do analizy jakości działania programów aplikacyjnych. Mimo to jest odczuwalny duży brak zintegrowanych i przenośnych narzędzi, przyjaznych dla użytkownika. Zrozumienie przyczyn tego stanu rzeczy wymaga przeprowadzenia oceny istniejących narzędzi, ich możliwości i ograniczeń. Ze względu na skomplikowany mechanizm funkcjonowania narzędzi i interakcji z badaną aplikacją, systemem operacyjnym i użytkownikiem ocena funkcjonalności narzędzi jest procesem złożonym i wymaga uwzględnienia wielu charakterystyk, które odgrywają istotną rolę przy użytkowaniu narzędzi. Wprowadzono zestaw kryteriów opracowanych na podstawie własnych badań oraz prac organizacji, zajmujących się standaryzacją metod i technik budowy narzędzi do badań jakości obliczeń równoległych i rozproszonych. W części szczegółowej artykułu omówiono reprezentatywne narzędzia, opracowane w ostatnim dziesięcioleciu, ich zalety i ograniczenia. Na podstawie wprowadzonych kryteriów przeprowadzono ocenę przedstawionych narzędzi. W podsumowaniu przedstawiono kierunki dalszego rozwoju technik badań nad jakością działania programów równoległych. Zaproponowano własną koncepcję zintegrowanego narzędzia i przedstawiono właściwości jej implementacji.

EN

The article presents a number of issues of designing and implementing performance evaluation tools for message-passing parallel programs, e.g. MPI and PVM. There is a number of special techniques for investigating parallel programs, whose implementations are tools presented. A concept of performance observability is introduced. Although a number of interesting solutions of performace tools was developed in the course of last decade, there is a great demand for portable and integrated tools. Understanding the reason for this situation requires evaluating the state of art of existing tools, their advantages and drawbacks. Due to a complicated mechanism of interactions between a tool and operating system, computer architecture and application, evaluating the tool includes taking into account a large number of features. There is introduced a set of criteria, which enable a thorough evaluation of tools, based on the work of HPC standardizing organizations as well as the author's work. The second part of the article presents the review of features of the particular tools developed over last decade. The tools are being evaluated on the base of the criteria introduced. The features of the PARNAS performance tool project and its implementation are presented. The summary presents further avenues of inquiry in parallel performance evaluation tools.