Realizacja aplikacji do zbierania, przetwarzania i wizualizacji zapisów w rejestrze zdarzeń systemu informatycznego z wykorzystaniem silnika wyszukiwawczego Elasticsearch

• Autorzy: Pluta S. , Szmolke P. , Olchawa A.

Identyfikatory

DOI

10.21008/j.1897-0737.2017.91.0023

Warianty tytułu

EN

Application for collecting, processing and visualization of entries in the it system event logs with the use of Elasticsearch search engine

• Konferencja: Computer Applications in Electrical Engineering (10-11.04.2017 ; Poznań, Polska)
• Języki publikacji: PL

Abstrakty

PL

Odpowiedzią na potrzebę stosowania wydajnego przetwarzania danych typu Big Data coraz częściej stają się scentralizowane systemy zbierania danych. Jednym z takich systemów jest system ELK (Elasticsearch, Logstash, Kibana). Zapewnia to bardzo zaawansowany skalowalny zestaw technologii, umożliwiających stworzenie systemu, który zbierze, przeanalizuje i wyświetli odpowiednie informacje. W artykule opisano przykład realizacji systemu, który umożliwia zbieranie oraz analizę zapisów zdarzeń systemowych z różnych urządzeń sieciowych firmy oraz serwerów usługowych i urządzeń dostępowych. Informacje w postaci logów zebranych z systemu IT firmy przechowywane są w scentralizowanej bazie danych Elasticsearch. Wykorzystano tu system ELK, który jest odpowiedzialny za zbieranie, przetwarzanie oraz odpowiednią wizualizację danych, aby można było je odczytywać i ponownie przetwarzać. Pozwala to na bardzo szybką reakcję w razie awarii urządzeń sieciowych i serwerów systemu IT.

EN

The article describes the embodiment of a system that allows the collection and analysis of records of system events from various network devices from servers and services and access devices. Information in the form of logs harvested from the company's IT system are stored in a centralized database Elasticsearch. In the presented system there are also used a data collection and log parsing engine called Logstash, and an analytics and visualization platform called Kibana. The three products are designed to be used as an integrated solution, referred to as the "ELK stack". ELK system is responsible for collecting, processing and adequate visualization of data that it can be read and processed again. This allows for very fast response in case of failure of the IT system.

Słowa kluczowe

PL

big data; Elasticsearch; logi systemowe; Elastic Stack

• Wydawca: Wydawnictwo Politechniki Poznańskiej
• Czasopismo: Poznan University of Technology Academic Journals. Electrical Engineering
• Rocznik: 2017
• Tom: No. 91
• Strony: 251--262
• Opis fizyczny: Bibliogr. 6 poz., rys., tab.

Twórcy

autor

Pluta S.

• Politechnika Opolska

autor

Szmolke P.

• Politechnika Opolska

autor

Olchawa A.

• Nowa Itaka Sp. z o.o.

Bibliografia

• [1] Big Data – metoda analizy danych, rynekinformacji.pl/big–data–metoda–analizy–danych/ (dostęp 11.11.2016).
• [2] Rohmann C., KNOW–HOW: ELK Stack, „Linux Magazine”, 147, 2016, s. 65–71.
• [3] Gormley C., Tong Z., „Elasticsearch: The Definitive Guide”, Oficjalna dokumentacja Elasticsearch firmy Elastic, www.elastic.co/guide/en/elasticsearch/guide/current/ (dostęp 11.11.2016).
• [4] Oficjalna dokumentacja Kibana firmy Elastic, „Kibana User Guide”, www.elastic.co/guide/en/kibana/4.3/ (dostęp 11.11.2016).
• [5] Oficjalna dokumentacja Logstash firmy Elastic, „Logstash Reference”, www.elastic.co/guide/en/logstash/2.3/ (dostęp 11.11.2016).
• [6] Gerhards R.,The Syslog Protocol https://tools.ietf.org/html/rfc5424/ (dostęp 11.11.2016).

Uwagi

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę (zadania 2017).