System przetwarzania i dystrybucji danych oparty na Apache NiFi

• Autorzy: Wnęk Karol , Boryło Piotr

Identyfikatory

DOI

10.15199/59.2022.4.18

Warianty tytułu

EN

Data processing and distribution system based on Apache NiFi

• Konferencja: Multikonferencja Krajowego Środowiska Tele- i Radiokomunikacyjnego (7-9.09.2022 ; Warszawa, Polska)
• Języki publikacji: PL

Abstrakty

PL

Głównym celem niniejszego artykułu jest zaprezentowanie wpływu autorskich poprawek domyślnej konfiguracji na szybkość przetwarzania danych przez Apache NiFi. Dodatkowo zbadano jak skaluje się wydajność wraz ze wzrostem liczby węzłów w klastrze obliczeniowym. Uzyskane wyniki szczegółowo przeanalizowano pod kątem wydajności oraz wartości kluczowych wskaźników.

EN

The main purpose of this article is to present the impact of authors’ tweaks to the default configuration on the processing speed of Apache NiFi. Additionally, how the performance scales with the increasing number of nodes in a computing cluster has been examined. Achieved results were thoroughly analyzed in terms of performance and key indicators.

Słowa kluczowe

PL

Apache NiFi; Big Data; ETL; przetwarzanie danych

EN

Apache NiFi; Big Data; data processing; ETL

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Telekomunikacyjny + Wiadomości Telekomunikacyjne
• Rocznik: 2022
• Tom: nr 4
• Strony: 185--189
• Opis fizyczny: Bibliogr. 10 poz., rys., tab.

Twórcy

autor

Wnęk Karol

• AGH, Akademia Górniczo-Hutnicza, Instytut Telekomunikacji

autor

Boryło Piotr

• AGH, Akademia Górniczo-Hutnicza, Instytut Telekomunikacji

Bibliografia

• [1] Somphop Chanthakit, Phongsak Keeratiwintakorn, i Choopan Rattanapoka. 2019. ,,An iot system design with real-time stream processing and data flow integration". Research, Invention, and Innovation Congress (RI2C): 1-5, 2019. doi: 10.1109/RI2C48728.2019.8999968.
• [2] Rustem Dautov and Salvatore Distefano. ,,Stream processing on clustered edge devices''. IEEE Transactions on Cloud Computing: 1-1 , 2020. doi: 10.1109/TCC.2020.2983402.
• [3] Daniel Gonzalez, Gerardo Granados, Juan Battini, Russell Carter, Tom Nguyen, Jungsoo Lim, and Russell Abbott. 2019. ,,Case study: Environrnental safety monitoring system for sidewalk". 8th Mediterranean Conferece on Embedded Compuling (MECO): 1-4. doi: 10.1109/MEC0.2019.8760037.
• [4] H. lsah and F.Zulkernine. 2018. ,,A Scalable and Robust Framework for Data Stream Ingestion". 2018 IEEE International Conference on Big Data (Big Data): 2900-2905, doi: 10.1109/BigData. 2018.8622360.
• [5] Sang-Su Kim, Wang-Ro Lee, and Jun-Hui Go. 2019. ,,A study on utilization of spatial information in heterogeneous system based on Apache NiFi". International Conference on Information and Communication Technology Convergence (ICTC): 1117-1119, 2019 . doi: 10.1109/ICTC46691.2019.8939734.
• [6] Vitalii Mayuk, Ivan Falchuk, and Piotr Muryjas. 2021. ,,The comparative analysis of modem etl tools". Journal of Computer Sciences Institute. 19: 126-131 , doi: 10.35784/jcsi.2631.
• [7] Abhinay Pandya, Panos Kostakos, Hassan Mehmood, Marta Cortes, Ekaterina Gilman, Mourad Oussalah, and Susanna Pirttikangas., Privacy preserving sentiment analysis on multiple edge datastreams with Apache NiFi". 2019. European Intelligence and Security Informatics Conference (EJSIC): 130-133. doi: 10.1109/EISIC49498.2019.9108851.
• [8] Christo Petrov. 25+ impressive big data statistics for 2021. URL, https://techjury.net/blog/big-data-statistics/. data dostępu: 2021-12-11.
• [9] M. Sarnovsky, P. Bednar, and M. Smatana. 2017. ,,Data integration in scalable data analytics platform for process industries". IEEE 21st International Conference on Intelligent Engineering Systems(INES): 187-192. doi: 10.1109/INES.2017.8118553.
• [10] Statista. ,,Volume of data/information created, captured, copied, and consumed worldwide from 2010 to 2025 (in zettabytes)". URL https://www.statista.com/statistics/871513/worldwide-data-created/. data dostępu: 2021-12-11.

Uwagi

Opracowanie rekordu ze środków MEiN, umowa nr SONP/SP/546092/2022 w ramach programu "Społeczna odpowiedzialność nauki" - moduł: Popularyzacja nauki i promocja sportu (2022-2023).