Intelligent data analysis on an analytical platform

• Autorzy: Darkenbayev Dauren , Altybay Arshyn , Darkenbayeva Zhaidargul , Mekebayev Nurbapa

Identyfikatory

DOI

10.35784/iapgos.5423

Warianty tytułu

PL

Inteligentna analiza danych na platformie analitycznej

• Języki publikacji: EN

Abstrakty

EN

hearticle discusses methods for processing unstructured data using an analytical platform. The authors analyze existing methodsand technologies used to implement data processing and propose new approaches to solving this problem. The possibilities of using analytical platformsto solve the problem of processing source data are considered. The purpose of the article is to explore the possibilities of data import, partial preprocessing, missing data recovery, anomaly removal, spectral processing and noise removal. The authors explored how analytics platformscan function without a data warehouse, obtaining information from any other sources, but the most optimal way is to use them together, and how big data and unstructured data can be processed using an analytics platform. The authors solved a specific problem related to processing problems and proposed ways to solve them using an analytical platform. Particular attention is paid to a complete set of mechanisms that allows youto obtain information from any data source, carry out the entire processing cycle and display the results. Overall, the paper represents an important contribution to the development of raw data processing technologies. The authors plan to continue research in the field of processing big unstructured data.

PL

W artykule omówiono metody przetwarzania surowych danych z wykorzystaniem platformy analitycznej. Autorzy analizują istniejące metody i technologie stosowane do realizacji przetwarzania danych i proponują nowe podejścia do rozwiązania tego problemu. Rozważanesą możliwości wykorzystania platform analitycznych do rozwiązania problemu przetwarzania surowych danych. Celem artykułu jest zbadanie możliwości importu danych, częściowego przetwarzania wstępnego, przywracania brakujących danych, usuwania anomalii, przetwarzania spektralnego i usuwania szumu. Autorzy sprawdzili, jak platformy analityczne mogąfunkcjonować bez hurtowni danych, otrzymując informacje z innych źródeł, jednak najbardziej optymalnym sposobem jest ich wspólne wykorzystanie oraz jak duże zbiory danych można przetwarzać za pomocą platformyanalitycznej. Autorzy omawiają możliwe problemy związane z problemami przetwarzania i sugerują sposoby ich rozwiązania. Szczególną uwagę zwrócono na kompletny zestaw mechanizmów, który pozwala na pozyskanie informacji z dowolnego źródła danych, przeprowadzenie całego cyklu przetwarzania i wyświetleniewyników. Ogólnie rzecz biorąc, artykuł stanowi ważny wkład w rozwój technologii przetwarzania surowych danych. Artykuł kończy się przyszłościowym planem dalszych badań w tym obszarze.

Słowa kluczowe

EN

raw data; processing; analytical platform; technology; analysis

PL

surowe dane; przetwarzanie; platforma analityczna; technologia; analiza

• Wydawca: Wydawnictwo Politechniki Lubelskiej
• Czasopismo: Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Środowiska
• Rocznik: 2024
• Tom: T. 14, nr 1
• Strony: 119--122
• Opis fizyczny: Bibliogr. 19 poz., wykr.

Twórcy

autor

Darkenbayev Dauren

• Al-Farabi Kazakh National University,Almaty, Kazakhstan

• https://orcid.org/0000-0002-6491-8043+

autor

Altybay Arshyn

• Al-Farabi Kazakh National University,Almaty, Kazakhstan

• https://orcid.org/0000-0003-4939-8876

autor

Darkenbayeva Zhaidargul

• Kazakh Ablai Khan University of International Relations and World Languages, Almaty, Kazakhstan

• https://orcid.org/0000-0003-3756-0581

autor

Mekebayev Nurbapa

• Kazakh National Women’s Teacher Training University,Almaty, Kazakhstan

• https://orcid.org/0000-0002-9117-4369

Bibliografia

• [1] Abdiakhmetova Z. M.: Wavelet data processing in the problems of allocation in recovery well logging. Journal of Theoretical and Applied Information Technology 95(5), 2017, 1041–1047.
• [2] Altybay A. et al: Numerical Simulation and Parallel Computing of the Acoustic Wave Equation. AIP Conference Proceedings 3085(1), 2024, 020006.
• [3] Balakayeva G. et al: Development of an application for the thermal processing of oil slime in the industrial oil and gas sector. Informatics, Control, Measurement in Economy and Environmental Protection 13(2), 2023, 20–26.
• [4] Balakayeva G. et al: Digitalization of enterprise with ensuring stability and reliability. Informatics, Control, Measurement in Economy and Environmental Protection 13(1), 2023, 54–57 [http://doi.org/10.35784/iapgos.3295].
• [5] Balakayeva G., Darkenbayev D.: The solution to the problem of processing Big Data using the example of assessing the solvency of borrowers. Journal of Theoretical and Applied Information Technology 98(13), 2020, 2659–2670.
• [6] Balakayeva G. T. et al: Using NoSQL for processing unstructured Big Data. News of the NAS of the Republic of Kazakhstan 6(438), 2019, 12–21.
• [7] Big Data Big Opportunity [http://www.oracle.com] (28.01.2012).
• [8] Darkenbayev D. K.: Numerical solution of the regression model for analysis and processing of Big Data. Vestnik KazNRTU 6(130), 2018, 132–139.
• [9] Franks B.: The Taming of Big Data: How to Extract Knowledge from Arrays of Information Using Deep Analytics. Mann, Ivanov and Ferber, 2014, 180.
• [10] Highlights: Unique Features of Statistica Data Miner [http://www.statsoft.com] (01.02.2014).
• [11] Lubanovic B.: Introducing Python: Modern Computing in Simple Packages 2nd Edition. O'Reilly Media, 2019.
• [12] Rastorguev V.: DataMining technology for data analysis in credit scoring methods. Banking Technologies (11), 2003, 14–18.
• [13] Rimmer J.: Contemporary changes in credit scoring. Credit Control 26 (4), 2005, 56–60.
• [14] Saar-Tsechansky M., Provost F.: Active sampling for class probability estimation and ranking. Machine Learning 54(2), 2004, 153–178.
• [15] Semenov Yu. A.: Large amounts of data (big data) [http://book.itep.ru] (21.04.2013).
• [16] Usachev S.: Credit scoring: desktop or enterprise solutions. Banks and technologies (4), 2008, 50–54.
• [17] [http://www.basegroup.ru].
• [18] [http://www.nosql-database.org].
• [19] [https://basegroup.ru/deductor/components/studio].