Analiza porównawcza współczesnych narzędzi ETL

• Autorzy: Mayuk Vitalii , Falchuk Ivan , Muryjas Piotr

Identyfikatory

DOI

10.35784/jcsi.2631

Warianty tytułu

EN

The comparative analysis of modern ETL tools

• Języki publikacji: PL

Abstrakty

PL

Każda hurtownia danych wymaga ładowania odpowiednio przetworzonych danych transakcyjnych. Procesy realizujące to zadanie określane są jako ekstrakcja-transformacja-ładowanie (ETL). Od efektywności ich wykonania zależy jak szybko użytkownik będzie miał dostęp do bieżących danych analitycznych. W artykule przedstawiono istotę procesu ETL oraz wyniki badań efektywności realizacji jego etapów z użyciem Azure Synapse (AS) oraz Azure Data Factory (ADF). Badania obejmowały selekcję, sortowanie i agregację danych, złączenie tabel oraz zapis danych do tabel docelowych. Do oceny efektywności tych operacji zastosowano kryterium czasu ich wykonania. Uzyskane wyniki wskazują, iż narzędzie ADF zapewnia znacznie wyższą efektywność czasową ładowania danych transakcyjnych do hurtowni danych w porównaniu do AS.

EN

Each data warehouse requires loading properly processed transactional data. The process that performs this task is known as extract-transform-load (ETL). The efficiency of its implementation affects how quickly the user will have the access to the current analytical data. The paper presents the results of research efficiency of ETL performance of its stage with the use of Azure Synapse (AS) and Azure Data Factory (ADF). The research included selection, sorting and aggregating data, joining tables, and loading data into target tables. To evaluate the efficiency of these operations, the criterion of their execution time has been used. The obtained results indicate that the ADF tool provides a much higher time efficiency of loading transactional data into the data warehouse comparing to AS.

Słowa kluczowe

PL

Azure Synapse; Azure Data Factory; ETL tools

EN

Azure Synapse; Azure Data Factory; ETL tools

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Journal of Computer Sciences Institute
• Rocznik: 2021
• Tom: Vol. 19
• Strony: 126--131
• Opis fizyczny: Bibliogr. 10 poz., rys., tab.

Twórcy

autor

Mayuk Vitalii

• Department of Computer Science, Lublin University of Technology, Nadbystrzycka 36B, 20-618 Lublin, Poland

autor

Falchuk Ivan

• Department of Computer Science, Lublin University of Technology, Nadbystrzycka 36B, 20-618 Lublin, Poland

autor

Muryjas Piotr

• Department of Computer Science, Lublin University of Technology, Nadbystrzycka 36B, 20-618 Lublin, Poland

Bibliografia

• [1] Ł. Bielak, P. Muryjas, Integracja Big Data i Business Intelligence jako innowacyjne rozwiązanie wspomagające funkcjonowanie nowoczesnych organizacji, Journal of Computer Sciences Institute 1 (2016) 6–13.
• [2] А. С. Черняев, ETL: обзор инструментов, Молодой ученый, 1 (2019) 23–26, https://moluch.ru/archive/239/55368/, [16.04.2021].
• [3] Azure Data Factory documentation, https://docs.microsoft.com/en-us/azure/data-factory/, [16.04.2021].
• [4] R. Sudhir, A. Narain, Understanding Azure Data Factory: Operationalizing Big Data and Advanced Analytics Solutions, Apress, Berkeley, 2019.
• [5] A. Leonard, K. Bradshaw, SQL Server Data Automation Through Frameworks. Building Metadata-Driven Frameworks with T-SQL, SSIS, and Azure Data Factory, Apress, Berkeley, 2020.
• [6] Dokumentacja narzędzia Azure Synapse Analytics, https://azure.microsoft.com/pl-pl/services/synapse-analytics/, [16.04.2021].
• [7] Architektura dedykowanej puli SQL (dawniej SQL DW) w usłudze Azure Synapse Analytics, https://docs.microsoft.com/pl-pl/azure/synapse-analytics/sql-data-warehouse/massively-parallel-processing-mpp-architecture, [16.04.2021].
• [8] Wybór między modelami zakupów rdzeń wirtualny i DTU — Azure SQL Database i wystąpienie zarządzane SQL, https://docs.microsoft.com/pl-pl/azure/azure-sql/database/purchasing-models#dtu-based-purchasing-model, [16.04.2021].
• [9] Przewodnik dotyczący wydajności i dostrajania przepływu danych, https://docs.microsoft.com/pl-pl/azure/data-factory/concepts-data-flow-performance, [16.04.2021].
• [10] Monitorowanie przepływów danych, https://docs.microsoft.com/pl-pl/azure/data-factory/concepts-data-flow-monitoring, [16.04.2021].

Uwagi

Opracowanie rekordu ze środków MNiSW, umowa Nr 461252 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2021).