Synchronization of event-driven management during data collection

• Autorzy: Kuzminykh Valeriy , Koval Oleksandr , Havrylko Yevhen , Xu Beibei , Yepifanova Iryna , Zhu Shiwei , Bieliaieva Nataliia , Yeraliyeva Bakhyt

Identyfikatory

DOI

10.35784/iapgos.6656

Warianty tytułu

PL

Synchronizacja zarządzania sterowanego zdarzeniami podczas gromadzenia danych

• Języki publikacji: EN

Abstrakty

EN

The article considers an approach to implementing the architecture of a microservice system for processing large volumes of data basedon the event-oriented approach to managing the sequence of using individual microservices. This becomes especially important when processing large volumes of data from information sources with different performance levels when the task is to minimize the total time for processing data streams.In this case, as a rule, the task is to minimize the number of requests for information sources to obtain a sufficient amount of data relevant to therequest. The efficiency of the entire software system as a whole depends on how the microservices that provide extraction and primary processing of the received data are managed. To obtainthe required amount of relevant data from diverse information sources, the software system must adapt tothe request during its operation so that the maximum number of requests are directed to sources that have the maximum probability of finding thedata necessaryfor the request in them. An approach is proposed that allows adaptively managing the choice of microservices during data collection and by emerging events and, thus, forming a choice of information sources based on an assessment of the efficiencyof obtaining relevant information from these sources. Events are generated as a result of data extraction and primary processing from certain sources in terms of assessing the availability of data relevantto the request in each of the sources considered within the framework of the selected search scenario. Event-oriented microservice architecture adaptsthe system operation to the current loads on individual microservices and the overall performance by analysethe relevant events. The use of an adaptive event-oriented microservice architecture can be especially effective in the development of various information and analytical systems constructedbyreal-time data collectionand design scenarios of analytical activity. The article considers the features ofsynchronous and asynchronous optionsin the implementation of event-oriented architecture, which can be used in various software systems depending on their purpose. An analysisof the features of synchronous and asynchronous options in the implementation of event-oriented architecture, their quantitative parameters, and features of their use depending on the type of tasks is carried out.

PL

W artykule rozważono podejście do implementacji architektury systemu mikrousług do przetwarzania dużych ilości danych w oparciuo podejście zorientowane na zdarzenia do zarządzania sekwencją korzystania z poszczególnych mikrousług. Staje się to szczególnie ważne podczas przetwarzania dużych ilości danych ze źródeł informacji o różnych poziomach wydajności, gdy zadaniem jest zminimalizowanie całkowitego czasu przetwarzania strumieni danych. W tym przypadku, co do zasady, zadaniem jest zminimalizowanie liczby żądań do źródeł informacji w celu uzyskania wystarczającej ilości danych istotnych dla żądania. Wydajność całego systemu oprogramowania jako całości zależy od sposobu zarządzania mikrousługami, które zapewniają ekstrakcję i podstawowe przetwarzanie otrzymanych danych. Aby uzyskać wymaganą ilość odpowiednich danychz różnych źródeł informacji, system oprogramowania musi dostosować się do żądania podczas jego działania, tak aby maksymalna liczba żądańbyła kierowana do źródeł, które mają maksymalne prawdopodobieństwo znalezienia w nich danych niezbędnych do żądania. Zaproponowano podejście, które pozwala adaptacyjnie zarządzać wyborem mikrousług podczas gromadzenia danych i pojawiających się zdarzeń, a tym samym kształtować wybór źródeł informacji w oparciu o ocenę skuteczności uzyskiwania odpowiednich informacji z tych źródeł. Zdarzenia są generowane wwyniku ekstrakcji danych i przetwarzania pierwotnego z określonych źródeł w zakresie oceny dostępności danych istotnych dla żądania w każdym ze źródeł uwzględnionych w ramach wybranego scenariusza wyszukiwania. Architektura mikrousług zorientowana na zdarzenia dostosowuje działanie systemu do bieżących obciążeń poszczególnych mikrousług i ogólnej wydajności poprzez analizę odpowiednich zdarzeń. Wykorzystanie adaptacyjnej architektury mikrousługzorientowanej na zdarzenia może być szczególnie skuteczne w rozwoju różnych systemów informacyjnych i analitycznych zbudowanych w oparciuo gromadzenie danych w czasie rzeczywistym i projektowanie scenariuszy działalności analitycznej. W artykule rozważono cechy opcji synchronicznychi asynchronicznych w implementacji architektury zorientowanej na zdarzenia, które mogą być wykorzystywane w różnych systemach oprogramowaniaw zależności od ich przeznaczenia. Przeprowadzono analizę cech opcji synchronicznych i asynchronicznych w implementacji architektury zorientowanej na zdarzenia, ich parametrów ilościowych oraz cech ich wykorzystania w zależności od rodzaju zadań.

Słowa kluczowe

EN

big data; microservices; adaptation; event-driven software architecture; information technology; ontology

PL

big data; mikrousługi; adaptacja; architektura oparta na zdarzeniach; technologia informacyjna; ontologia

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 4
• Strony: 121--129
• Opis fizyczny: Bibliogr. 28 poz., wykr.

Twórcy

autor

Kuzminykh Valeriy

• National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Department of Software Engineering in Energy, Kyiv, Ukraine

• https://orcid.org/0000-0002-8258-0816

autor

Koval Oleksandr

• National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Department of Software Engineering in Energy, Kyiv, Ukraine

• https://orcid.org/0000-0003-0991-6405

autor

Havrylko Yevhen

• National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Department of Software Engineering in Energy, Kyiv, Ukraine

• https://orcid.org/0000-0001-9437-3964

autor

Xu Beibei

• National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Department of Software Engineering in Energy, Kyiv, Ukraine

• https://orcid.org/0000-0003-1430-5334

autor

Yepifanova Iryna

• Vinnytsia National Technical Unіversity, Vinnytsia, Ukraine

• https://orcid.org/0000-0002-0391-9026

autor

Zhu Shiwei

• National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Department of Software Engineering in Energy, Kyiv, Ukraine

• https://orcid.org/0000-0002-6651-8449

autor

Bieliaieva Nataliia

• Dragomanov Ukrainian State University, Kyiv, Ukraine

• https://orcid.org/0009-0003-2987-8423

autor

Yeraliyeva Bakhyt

• M. Kh. Dulaty Taraz Regional University, Taraz, Kazakhstan

• https://orcid.org/0000-0002-8680-7694

Bibliografia

• [1] Akhtanov S., Turlykozhayeva D., Ussipov N., Ibraimov M., Zhanabaev Z.: Centre including eccentricity algorithm for complex networks. Electronics Letters 58(7), 2022, 283–285.
• [2] Al-Masri E.: Enhancing the Microservices Architecture for the Internet of Things. IEEE International Conference on Big Data (Big Data). USA, WA, Seattle, 2018, 5119–5125.
• [3] Azarov O. et al.: Means of analyzing parameters of speech signal transmission and reproduction. Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska 14(2), 2024, 11–16.
• [4] Azarova A. O. et al.: Information technologies for assessing the quality of IT-specialties graduates' training of university by means of fuzzy logic and neural networks. International Journal of Electronics and Telecommunications 66(3), 2020, 411–416.
• [5] Belnar A.: Building Event-Driven Microservices: Leveraging Organizational Data at Scale. O'Reilly Media, USA 2020.
• [6] Bisikalo O. et al.: Parameterization of the Stochastic Model for Evaluating Variable Small Data in the Shannon Entropy Basis. Entropy 25(2), 2023, 184.
• [7] Buyya R.: Big Data. Principles and Paradigms. Elsevier, 2016.
• [8] Chris R.: Microservices. Development and refactoring patterns. Peter, 2019, 544.
• [9] Davis A.: Bootstrapping Microservices with Docker, Kubernetes, and Terraform: A project-based guide. Manning, Shelter Island 2021.
• [10] Dinesh R.: Hands-On Microservices – Monitoring and Testing. Hands-On Microservices – Monitoring and Testing: A performance engineer's guide to the continuous testing and monitoring of microservices. Packt Publishing. 2018.
• [11] Erl T.: Big Data Fundamentals. Concepts, Drivers & Techniques. Prentice Hall, 2016.
• [12] Ford N., Parsons R., Kua P.: Building Evolutionary Architectures: Support Constant Change. O'Reilly Media, 2017.
• [13] Ghiya P.: Typescript Microservices: Build, deploy, and secure microservices using TypeScript combined with Node.js. Packt, Birmingham 2018.
• [14] Gorelik A.: The Enterprise Big Data Lake: Delivering the Promise of Big Data and Data Science. O'Reilly, 2019.
• [15] Koval O. V. et al.: Evaluating the Quality of Modeling the Scenario of Information Analysis on a Branched Network. Modern information protection. DUT 3(39), 2019, 70–76.
• [16] Koval O. V. et al.: Improving the Efficiency of Typical Scenarios of Analytical Activities. CEUR Workshop Proceedings 3241, 2021, 123–132.
• [17] Koval O. V. et al.: Refining the typical scenarios by additional factors. Mathematical and computer modeling. Series: Technical sciences 1(20), 2019, 68–78.
• [18] Kuzminykh V. О. et al.: Data collection for analytical activities using adaptive micro-service architecture. Registration, storage and processing of data 23(1), 2021, 7–79.
• [19] Kuzminykh V., Xu B.: The influence of current results in an event-oriented data collection system. Zviazok 3(169), 2024, 18–22.
• [20] Mamyrbayev O., Toleu A., Tolegen G., Mekebayev N.: Neural architectures for gender detection and speaker identification. Cogent Engineering 7, 2020, 1727168, 1–13.
• [21] Newman S.: Building Microservices: Designing Fine-Grained Systems. O'Reilly Media, 2015.
• [22] Rocha H. F. O.: Practical Event-Driven Microservices Architecture: Building Sustainable and Highly Scalable Event-Driven Microservices. Apress, 2021.
• [23] Shuiskov A.: Building Microservices with Go: Develop seamless, efficient, and robust microservices with Go. Packt Publishing, 2022.
• [24] Simon P.: Too Big to Ignore: The Business Case for Big Data. Wiley, 2019.
• [25] Turlykozhayeva, D. et al.: Routing Algorithm for Software Defined Network Based on Boxcovering Algorithm. 10th International Conference on Wireless Networks and Mobile Communications (WINCOM), 2023, 1–5.
• [26] Wolff E.: Microservices, Flexible Software Architecture. Addison-Wesley, Boston 2016.
• [27] Zgurovsky M. Z., Zaychenko Y. P.: Big Data: Conceptual Analysis and Applications. Springer, 2020.
• [28] Zhang H., Li S., Jia Z, Zhong C., Zhang C.: Microservice Architecture in Reality: An Industrial Inquiry. IEEE International Conference on Software Architecture (ICSA), Germany, Hamburg, 2019, 51–60.