PL
 |
EN
Preferencje help
Polish version English version Język
Widoczny [Schowaj] Abstrakt
Liczba wyników

Znaleziono wyników: 13

Liczba wyników na stronie
first rewind previous Strona / 1 next fast forward last
Wyniki wyszukiwania
Wyszukiwano:
w słowach kluczowych:  ETL
help Sortuj według:

help Ogranicz wyniki do:
first rewind previous Strona / 1 next fast forward last
1
System przetwarzania i dystrybucji danych oparty na Apache NiFi
Wnęk Karol, Boryło Piotr
Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
|
2022
|
nr 4
185--189
PL
Głównym celem niniejszego artykułu jest zaprezentowanie wpływu autorskich poprawek domyślnej konfiguracji na szybkość przetwarzania danych przez Apache NiFi. Dodatkowo zbadano jak skaluje się wydajność wraz ze wzrostem liczby węzłów w klastrze obliczeniowym. Uzyskane wyniki szczegółowo przeanalizowano pod kątem wydajności oraz wartości kluczowych wskaźników.
EN
The main purpose of this article is to present the impact of authors’ tweaks to the default configuration on the processing speed of Apache NiFi. Additionally, how the performance scales with the increasing number of nodes in a computing cluster has been examined. Achieved results were thoroughly analyzed in terms of performance and key indicators.
2
Content available Heterogeneous Data Integration Architecture-Challenging Integration Issues
Chromiak M., Grabowiecki M.
Annales Universitatis Mariae Curie-Skłodowska. Sectio AI, Informatica
|
2015
|
Vol. 15, no. 1
7--11
EN
As of today, most of the data processing systems have to deal with a large amount of data originated from numerous sources. Data sources almost always differ regarding its purpose of existence. Thus model, data processing engine and technology differ intensely. Due to current trend for systems fusion there is a growing demand for data to be present in a common way regardless of its legacy. Many systems have been devised as a response to such integration needs. However, the present data integration systems mostly are dedicated solutions that bring constraints and issues when considered in general. In this paper we will focus on the present solutions for data integration, their flaws originating from their architecture or design concepts and present an abstract and general approach that could be introduced as an response to existing issues. The system integration is considered out of scope for this paper, we will focus particularly on efficient data integration.
3
Content available Computer-Assisted Integration of Knowledge in the Context of Identification of the Causes of Defects in Castings
Kluska-Nawarecka S., Wilk-Kolodziejczyk D., Dajda J., Macura M., Regulski K.
Archives of Metallurgy and Materials
|
2014
|
Vol. 59, iss. 2
743--746
EN
The paper outlines the rules of creating diagnostic tasks scenarios in determining the causes of defects in castings. The paper presents as well the rules of operation of the computer system for data integration based on Extract-Trasform-Load technology, and a description of prototype implementation of this system, also examples of the tests that was carried out.
PL
W pracy naszkicowano zasady tworzenia scenariuszy działań diagnostycznych przy określeniu przyczyn powstawania wad odlewów. Przedstawiono zasady działania informatycznego systemu integracji danych opartego na zastosowaniu technologii Extract-Trasform-Load, oraz opis prototypowej realizacji tego systemu, a także przykłady przeprowadzonych testów.
4
Content available remote E-ETL: framework for managing evolving ETL workflows
Wojciechowski A.
Foundations of Computing and Decision Sciences
|
2013
|
Vol. 38, No. 2
131--142
EN
Data warehouses integrate external data sources (EDSs), which very often change their data structures (schemas). In many cases, such changes cause an erroneous execution of an already deployed ETL workflow. Structural changes of EDSs are frequent, therefore an automatic reparation of an ETL workflow, after such changes, is of a high importance. This paper presents a framework, called E-ETL, for handling the evolution of an ETL layer. Detection of changes in EDSs causes a reparation of the fragment of ETL workflow which interacts with the changed EDSs. The proposed framework was developed as a module external to a standard commercial or open-source ETL engine, accessing the engine by means of API. The innovation of this framework consists in: (1) the algorithms for semi-automatic reparation of an ETL workflow and (2) its ability to interact with various ETL engines that provide API.
5
Content available Zarządzanie i eksploatacja farm wiatrowych - nowoczesne metody wsparcia informatycznego
Wancerz P.
Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
|
2012
|
nr 1
28-31
PL
Artykuł opisuje system służący do zarządzania siecią farm wiatrowych. Projektowany system opierać się będzie na założeniach technologii Business Intelligence. Obejmuje zebranie danych źródłowych i przy pomocą procesu ETL załadowanie ich do hurtowni danych będącej docelowym miejscem przechowywanie kluczowych danych. Następnie aplikacja Business Intelligence będzie odpowiedzialna za wyświetlanie danych, ich analizę oraz wszelkiego rodzaju powiadomienia - mailowe i sms. System będzie tworzył integralną całość i współpracował z wieloma typami danych źródłowych.
EN
The article describes a system for managing wind farms. The proposed system will be based on assumptions of Business Intelligence technology. This includes gathering source data and the use of the ETL process to transform it and load to the target - data warehouse. Then the Business Intelligence application will be responsible for data display, analysis and all kinds of alerts - email and sms. The system will be fully integrated and able to read multisource data.
6
Równoważący obciążenia system ETL, bazujący na maszynie uczącej
Gorawski M., Wardas R.
Studia Informatica
|
2010
|
Vol. 31, nr 2A
517-530
PL
Użytkownicy hurtowni danych wymagają zazwyczaj zarówno krótkiego czasu odpowiedzi na zapytania, jak i wysokiego poziomu świeżości pobieranych danych. Przedstawiony system LEMAT zarządzający procesem ekstrakcji danych ETL opiera się na koncepcji adaptacyjnego równoważenia obciążenia operacji zapytań i aktualizacji zgodnie ze zmieniającymi się potrzebami użytkownika. System LEMAT używa autorskiego algorytmu równoważenia obciążenia z użyciem maszyny uczącej z zaawansowanym klasyfikatorem zapytań LMWB. Zaprezentowana została również metoda adaptacji systemu LEMAT na podstawie zbieranych statystyk o zmieniających się warunkach pracy oraz jego reakcja na przeciążenia.
EN
Data warehouses users usually expects both: short response time and high level of data "freshness". The LEMAT presented as the ETL process manager bases on a concept of a adaptive load balancing of queries and actualizations according to user changing needs. The LEMAT system uses new workload balancing algorithm that uses LMWB (Learning Machine-based Workload Balancing) with the advanced query classifier SVM (Support Vector Machine). Moreover the method of a LEMAT system adaptation is presented. This method bases on collection of changing work conditions characteristics and reactions to congestions.
7
Porównanie możliwości procesów ETL w hurtowniach danych Oracle i Microsoft
Staszak Z., Ochnik P.
Prace Naukowe Instytutu Informatyki Politechniki Wrocławskiej
|
2009
|
Nr 10
9-32
PL
W pracy przedstawiono wybrane zagadnienia dotyczące hurtowni danych i, związanych z nimi, procesów ETL. Pierwsza część pracy opisuje zagadnienia teoretyczne takie jak architektura hurtowni oraz reprezentacja danych. Druga część pracy to opis zagadnień praktycznych związanych z hurtowniami danych i procesami ETL. Przedstawiono w niej rozpoznane mechanizmy ETL oraz wybrane dedykowane im narzędzia programistyczne w badanych SZBD Oracle 10g i Microsoft SQL Server 2005. Wszystkie rozpoznane mechanizmy zostały zaimplementowane w testowej hurtowni danych zrealizowanej w obu środowiskach. Zbadano ich działanie i możliwości. Praca zakończona jest wnioskami z przeprowadzonych badań.
EN
This paper describes the issues of data warehouse and associated with them ETL-process. The first part of the work describes the theoretical issues such as warehouese architecture and data representation. The second part of the job is related to the pratcical issues associated wih the warchouses and ETL mechanisms and dedicated them programming tiils in tested SZBD Orcale 10g and Microsoft SQL Server 2005 were there presented. All the mechanisms have been implemented in both environments for test data warehouse. They possibilities and operation were examined. The works is completed with the conclusions of the tests.
8
Laboratorium hurtowni danych poziomu MS SQL Server 2005
Gorawski Marcin
Prace Naukowe Instytutu Informatyki Stosowanej Politechniki Wrocławskiej. Konferencje
|
2007
583-596
PL
Rozdział omawia problemy związane z projektem o nazwie "Laboratorium Hurtowni Danych poziomu MS SQL Server 2005" (HDM5), testowaniem ćwiczeń przez studentów oraz uwagi ogólne, co do sposobu przygotowania jego udostępnienia wszystkim zainteresowanym Uczelniom Wyższym w Polsce. Podjęto także próbę ustanowienia standardu przygotowania i prowadzenia zajęć z przedmiotu "Hurtownie danych" w kontekście zarówno laboratorium jak i wykładu ze szczególnym uwzględnieniem środowiska narzędziowego na przykładzie MS SQL Serwer 2005.
EN
The chapter presents problems connected with the "The Data Warehouse Laboratory on the MS SQL SERVER 2005 level" (HDM5) Project. It discussed how project was tested by college students. General remarks that concerns providing the project to all interested polish colleges are given. An attempt was made to elaborate certain standards of preparation and carrying out courses in the "Data Warehousing" subject. Standards concerns lectures and laboratories with focus on MS SQL Server 2005 environment.
9
Interoperacyjny system OLAP: intOLAP
Gorawski Marcin, Gorawski Michał, Bańkowski S.
Prace Naukowe Instytutu Informatyki Stosowanej Politechniki Wrocławskiej. Konferencje
|
2007
279-291
PL
Systemy analitycznego przetwarzania w trybie on-line (OLAP) są częścią składową systemów hurtowni danych (DW). Dostępnych jest wiele komercyjnych systemów OLAP np. OLAP-owy serwer Mondrian. Możliwość wykorzystania tego systemu wraz z technologią JPivot na stronach wizualizacji pracującej pod ASP.NET jest znacznie utrudniona. Projektanci systemów DW często pomijają większość z tych rozwiązań z powodu braku interfejsów komunikacyjnych. Zatem podczas rozszerzania funkcjonalności systemów DW pożądaną cechą jest interopcracyjność systemów OLAP (intOLAP). Prezentowany system intOLAP pozwala na ujednolicanie projektów systemów DW tak, aby komunikacja pomiędzy ich komponentami była znacznie uproszczona i niezależna od bazowej platformy. Przedstawione zostały metody użycia dodatkowych narzędzi wizualizacji opartych o ASP.NET, Apache Tomcat, JPivot, JBoss, Jasper niezależnie od wybranego środowiska bazodanowego w systemie intOLAP.
EN
Online Analytical Processing (OLAP) systems are part of Data Warehouse (DW) systems. While upgrading functionality of the DW systems OLAP interoperability (intOLAP) is quite desirable. Presented intOLAP system allows uniformity of DW systems projects in a manner that communication between components was much simpler and base platform independent. Paper researches methods of new visualization tools usage. These tools bases on ASP.NET, Apache Tomcat, JPivot, Jboss and Jasper technology and are independent of chosen database environment in intOLAP system.
10
Content available Systemy wspomagające podejmowanie decyzji w przedsiębiorstwie
Rączka K., Kowalski M., Gąsiorek S.
Inżynieria Rolnicza
|
2007
|
R. 11, nr 6 (94)
205-212
PL
Dokument stanowi przegląd współczesnych technologii informatycznych, architektur systemowych oraz zagadnień projektowo - implementacyjnych związanych z tematyką wspomagania podejmowania decyzji w przedsiębiorstwie (ang. business intelligence). Przedstawione są warstwy logiczne tego typu systemów, wraz z omówieniem typowych wyzwań i problemów napotykanych w każdej z nich podczas realizacji projektów integracyjnych dedykowanych do zebrania całości niezbędnych informacji. Omówiony jest również przepływ informacji, pokazana jest rola systemów wspierających integrację oraz znaczenie towarzyszących procesów biznesowych z naciskiem na zarządzania jakością danych dotyczących krytycznych aspektów funkcjonowania przedsiębiorstwa.
EN
The document presents review of up to date information technologies, system architectures and issues related to design and development of business intelligence systems. It pictures logical layers of such systems, together with explanation of typical challenges and problems related to every of the layers meet during implementation of systems of such class. It also presents data flows, the role of integration supporting systems and importance of associated business processes, especially data quality management.
11
Przyrostowa ekstrakcja danych ETL(delta)
Gorawski M., Ciepluch M.
Studia Informatica
|
2006
|
Vol. 27, nr 1
27-39
PL
W celu poprawienia dostepności danych do analiz w hurtowniach danych zaproponowano rozbudowę funkcjonalności eksploatowanego systemu ETL o proces przyrostowej ekstrakcji danych źródłowych (delta). Taki system ETL (delta) pozwala zachować pełną historię zmian w danych początkowych, a aktualizacja może odbywać się równolegle z dostępem do danych.
EN
To aquire a goal of increasing data availability for data analysis in data warehouses authors propose functionality build-up of exploited ETL systems by adding incremental source data (delta) extraction process. Such ETL (delta) system allows keeping of full history of changes made in source data, and actualization can be made in parallel with data access.
12
Uniwersalne środowisko graficzne do modelowania procesów ekstrakcji i wytwarzania
Gorawski M., Jabłoński P.
Studia Informatica
|
2005
|
Vol. 26, nr 3
7-28
PL
Bardzo często przeprowadzenie procesu ekstrakcji i ładowania danych na potrzeby konkretnego systemu hurtowni danych wymaga stworzenia specjalizowanej aplikacji ETL [1]. W niniejszej pracy przedstawiono projekt i realizację uniwersalnego środowiska graficznego, pozwalającego na tworzenie procesów ETL, współpracującego ze środowiskiem bazowym udostępniającym zbiór specjalizowanych komponentów do budowy pojedynczego zadania ekstrakcji [2].
EN
The article shows results of experiment that describes the possibility of uses workload manager in ADC5L operating system to describe utility level of server in Oracle databases environments. Goal of the experiment was to show server utilization by database instances. The article shows that it is possible to use dynamie resource allocation mechanism to present a scalę and costs of server utilizations
13
Content available remote Hurtownie danych
Kazanecka-Pieńkosz D.
Pomiary Automatyka Robotyka
|
2001
|
R. 5, nr 2
43--48
PL
Przedstawiono podstawowe koncepcje systemów opartych o hurtownie danych. Wyjaśniono czym są hurtownie danych, jakie cechy je wyróżniają i gdzie są stosowane. Zaprezentowano architekturę i elementy składowe systemów opartych o hurtownie danych, szerzej omawiając warstwę ekstrakcji, transformacji i ładowania danych (ETL). koncepcję metadanych oraz warstwę dostępu i analizy danych, w szczególności techniki OLAP i „data mining". Opisano metodykę, podstawowe problemy i aktualne trendy w tworzeniu systemów hurtowni danych.
EN
The basic idea of the data warehouse systems is presented. There is explained what the data warehouse is and where they find applications. The architecture and the main components of the data warehouse systems are presented with detailed description of the extraction. transformation and loading (ETL), the metadata idea as well as data access and analysis. in particular. OLAP and data mining techniques. The methodology to build the data warehouse systems and some current trends in the development of these systems is also discussed.
first rewind previous Strona / 1 next fast forward last
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.