Web log compression

• Autorzy: Grabowski S. , Deorowicz S.

Warianty tytułu

PL

Kompresja logów webowych

• Języki publikacji: EN

Abstrakty

EN

Web log data store client activity on a particular server, usually in form of one-line "hits" with information like the client's IP, date/ time, requested file or query, download size in bytes etc. Web logs of popular sites may grow at the pace of hundreds of megabytes a day, or even more. It makes sense to archive old logs, to analyze them further, e.g. for detecting attacks or other server abuse patterns. In this work we present a specialized lossless Apache web log preprocessor and test it with combination of several popular general-purpose compressors. The test results show the proposed transform improves the compression efficiency of general-purpose compressors on average by 65% in case of gzip and 52% in case of bzip2.

PL

Pliki z logami webowymi przechowują zapis aktywności klientów na danym serwerze, zwykle w formie jednolinijkowych wpisów zawierających informacje typu: numer IP maszyny klienta, data/czas dostępu do danego zasobu, rozmiar ściągniętego pliku w bajtach etc. Dane te, na popularnych serwerach www, mogą przyrastać w tempie setek megabajtów na dzień lub nawet wyższym. Archiwizacja "starych" logów jest jednak zalecana, głównie w celu ich analizy, np. mającej na celu wykrywanie ataków sieciowych i nietypowych (niepożądanych) wzorców zachowań. W niniejszej pracy przedstawiamy specjalizowany, zorientowany na kompresję, preprocesor dla logów serwera Apache i testujemy jego efektywność w połączeniu z kilkoma popularnymi kompresorami ogólnego przeznaczenia. Wyniki eksperymentów pokazują, że zaproponowana transformata poprawia efektywność kompresji o 65% (tj. 3-krotnie) w przypadku gzipa oraz o 52% w przypadku kompresora bzip2.

Słowa kluczowe

EN

lossless compression; database compression; web logs; Apache

PL

kompresja bezstratna; kompresja baz danych; logi webowe; Apache

• Wydawca: Wydawnictwa AGH
• Czasopismo: Automatyka / Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie
• Rocznik: 2007
• Tom: T. 11, z. 3
• Strony: 417--424
• Opis fizyczny: Bibliogr. 7 poz., tab.

Twórcy

autor

Grabowski S.

• Katedra Informatyki Stosowanej, Politechnika Łódzka w Łodzi

autor

Deorowicz S.

• Instytut Informatyki, Politechnika Śląska w Gliwicach

Bibliografia

• [1] Bentley J.L., Sleator D.D., Tarjan R.E., Wei V.K.: A locally adaptive data compression scheme. Communications of ACM, 29(4), 1986, 320-330
• [2] Graefe G., Shapiro L.: Data Compression and Database Performance. Proceedings of ACM/ IEEE-CS Symposium on Applied Computing, Kansas City, MO, 1991
• [3] Kulpa A., Swacha J., Budzowski R.: Script-based system for monitoring client-side activity, [in:] Abramowicz, W., Mayr, H. (eds.), Technologies for Business Information Systems. Springer, 2007
• [4] Racz B., Lukacs A.: High density compression of log files. Proceedings of the IEEE Data Compression Conference, Snowbird, UT, USA, 2004, 557
• [5] Skibiński P., Grabowski Sz., Swacha J.: Effective asymmetric XML compression. Submitted to Software-Practice and Experience, 2007
• [6] Skibiński P., Grabowski Sz., Deorowicz S.: Revisiting dictionary-based compression. Software-Practice and Experience, 35(15), 2005, 1455-1476
• [7] Skibiński P., Swacha J.: Fast and efficient log file compression. CEUR Workshop Proceedings of 11th East-European Conference on Advances in Databases and Information Systems (ADBIS 2007) (to appear)