Efektywne przetwarzanie i integracja dużych zbiorów danych w środowisku Hadoop

• Autorzy: Drzymała Paweł , Welfle Henryk , Drzymała Agnieszka

Identyfikatory

DOI

10.15199/48.2019.01.08

Warianty tytułu

EN

Effective processing and integration of large data sets in the Hadoop environment

• Języki publikacji: PL

Abstrakty

PL

Rozwój nowych kanałów elektronicznej wymiany informacji przyczynia się do powstania coraz większej ilości danych. Dane te są często zróżnicowane, niejednorodne i składowane bez ściśle zdefiniowanej struktury. W ciągu ostatnich 2 lat przyrosło 90% danych, jakie zostały wygenerowane od początku istnienia ludzkości. W artykule zaprezentowano architekturę i możliwości środowiska Hadoop powstałego w celu efektywnego przetwarzania i integracji dużych zbiorów danych. Przedstawiono cechy tej platformy oraz jej skalowalność. Omówiono metodę działania systemu plików HDFS oraz odporności na błędy składowania tego systemu. Zaprezentowano ideę współpracy węzłów klastra Hadoop oraz wykonywania działań typu Map – Reduce.

EN

The development of new channels of electronic information exchange contributes to the emergence of more and more data. These data are often diverse, heterogeneous and stored without a strictly defined structure. Over the past two years, 90% of the data has been generated since the beginning of human civilization. The article presents the architecture and possibilities of the Hadoop environment for the effective processing and integration of large data sets. It also presents the features of this platform and its scalability as well as discussed the method of operation in the HDFS file system and the resistance to storage errors of this system. The scheme of cooperation of the Hadoop cluster nodes to perform MapReduce operation was presented.

Słowa kluczowe

PL

big data; hadoop; HDFS; Hive; pig latin; SPARK

EN

big data; hadoop; HDFS; Hive; pig latin; spark

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2019
• Tom: R. 95, nr 1
• Strony: 29--32
• Opis fizyczny: Bibliogr. 5 poz., rys.

Twórcy

autor

Drzymała Paweł

• Politechnika Łódzka, Instytut Mechatroniki i Systemów Informatycznych, Stefanowskiego 18/22, 90-924 Łódź

autor

Welfle Henryk

• Politechnika Łódzka, Instytut Mechatroniki i Systemów Informatycznych, Stefanowskiego 18/22, 90-924 Łódź

autor

Drzymała Agnieszka

• Uniwersytet Łódzki, Instytut Ekonomii, Katedra Gospodarki Światowej i Integracji Europejskiej ul. Rewolucji 1905 Nr. 41, 90-255 Łódź

Bibliografia

• [1] Docs http://hadoop.apache.org/docs/current/
• [2] IBM Data source: https://developer.ibm.com/hadoop/
• [3] T. White : Hadoop: The Definitive Guide, Fourth Edition, O'REILLY 2015,
• [4] Rymaszewski J., Lebioda M., Korzeniewska E Simulation of the loss of superconductivity in a three-dimensional model of the metal-superconductor, Przegląd Elektrotechniczny, 2012 R.88, nr 12B, s. 183-186.
• [5] Stempien Z., Kozicki M., Pawlak R. Korzeniewska E., Owczarek G., Poscik A., Sajna D. , Ammonia gas sensors ink-jet printed on textile substrates, Conference: 15th IEEE Sensors, Orlando, FL Date: OCT 30-NOV 03, 2016

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).