Detection of outliers in data streams using grouping methods

• Autorzy: Duraj Agnieszka , Chomątek Łukasz

Warianty tytułu

PL

Wykrywanie wyjątków w strumieniach danych przy użyciu metod grupowania

• Języki publikacji: EN

Abstrakty

EN

Efficient processing of data streams usually requires their initial processing, including on the removal of anomalies caused by, for example, measuring errors. Such errors may result in misinterpretation of the phenomena being analyzed .The literature describes several methods for detecting exceptions in data streams. Each of them requires proper selection of operating parameters. In addition, the effectiveness of methods may vary depending on the data set being analyzed. The article describes current methods for detecting exceptions in data streams and analyzed their operation on gas consumption data.

PL

Przedmiotem niniejszej pracy jest wykrywanie wyjątków w strumieniach danych przy użyciu metod grupowania. Przetwarzanie strumieni danych wymaga wstępnej analizy a przede wszystkim usuwania wszelkiego rodzaju anomalii spowodowanych błędami pomiarowymi. Błędy te prowadzą do niewłaściwej interpretacji analizowanych zjawisk. W literaturze można odnaleźć metody wykrywania wyjątków w strumieniach danych oparte na metodach statystycznych, grupowaniu danych. Każda metoda wymaga odpowiedniego doboru parametrów operacyjnych. Skuteczność jest uzależniona od analizowanego zestawu strumienia. W pracy podano kilka metod grupowania używanych do detekcji wyjątków w strumieniach danych. Metody te sprawdzono dla strumieni dotyczących zużycia gazu.

Słowa kluczowe

EN

outlier; data stream analysis

PL

wykrywanie wyjątków; strumienie danych

• Wydawca: Wydawnictwo SIGMA-NOT
• Czasopismo: Przegląd Elektrotechniczny
• Rocznik: 2019
• Tom: R. 95, nr 2
• Strony: 85--87
• Opis fizyczny: Bibliogr. 24 poz., rys.

Twórcy

autor

Duraj Agnieszka

• Politechnika Łódzka, Instytut Informatyki, Wydział Fizyki Technicznej, Informatyki i Matematyki Stosowanej

autor

Chomątek Łukasz

• Politechnika Łódzka, Instytut Informatyki, Wydział Fizyki Technicznej, Informatyki i Matematyki Stosowanej

Bibliografia

• [1] Aggarwal, Charu C., Outlier Analysis, Springer, 2013.
• [2] Barnett, V., Lewis, T., Outliers in statistical data, Wiley, 1994.
• [3] A. Duraj A., P.S. Szczepaniak, Information Outliers and Their Detection in: M. Burgin and W. Hofkirchner (Eds.): Information Studies and the Quest for Transdisciplinarity World Scientific Publishing Company, Vol.9, Chapter 15, pp. 413—436
• [4] A. Duraj,Outlier Detection in Medical Data Using Linguistic Summaries, 2017 IEEE International Conference on INnovations in Intelligent SysTems and Applications INISTA 2017, Gdynia, Poland, 3-5 July 2017.
• [5] Ł. Chomątek, A. Duraj,Multiobjective Genetic Algorithm for Outliers Detection, 2017 IEEE International Conference on INnovations in Intelligent SysTems and Applications INISTA 2017, Gdynia, Poland, 3-5 July 2017, pp. 379-384
• [6] A.Duraj., Ł.Chomątek, Outlier Detection Using the Multiobjective Genetic Algorithm, Journal of applied computer science, Institute of Information Technology, pp. 29-42, 10p.
• [7] A. Duraj, A.Niewiadomski, P.S. Szczepaniak, Outlier detection using linguistically quantified statements, International Journal of Intelligent Systems, Vol.33, No 8, pp.1590-1601
• [8] A.Duraj, Ł.Chomątek,Outlier Detection Using the Multiobjective Genetic Algorithm, Journal of Applied Computer Science, Vol.25, No 1, pp.29-42
• [9] Berndt D.J, Clifford J. (1994) Using dynamic time warping to find patterns in time series.KDD Workshop.
• [10] Suchwałko, A. i Zagdański, A. Analiza i prognozowanie szeregów czasowych. Praktyczne wprowadzenie na podstawie śodowiska R. Wydawnictwo Naukowe PWN. 2016 Warszawa
• [11] Vallis, O., Hochenbaum, J., & Kejariwal, A. A Novel Technique for Long-Term Anomaly Detection in the Cloud. 2014.
• [12] López-de-Lacalle, J. Tsoutliers. 27 Maj 2017. https://cran.rproject.org/web/packages/tsoutliers/tsoutliers.pdf
• [13] Yanchang, Z. R and Data Mining. Examples and Case Studies Academic Press. 2013
• [14] Lebioda, M.; Rymaszewski, J.; Korzeniewska, E., Simulation of Thermal Processes in Superconducting Pancake Coils Cooled by GM Cryocooler, MICROTHERM' 2013 - MICROTECHNOLOGY AND THERMAL PROBLEMS IN ELECTRONICS Book Series:Journal of Physics Conference Series Volume:494Article number:012018 Published:2014
• [15] Rymaszewski, Jacek; Lebioda, Marcin; Korzeniewska, Ewa, Simulation of the loss of superconductivity in a threedimensional model of the metal-superconductor connection, PRZEGLAD ELEKTROTECHNICZNY, Volume:88, Issue:12B, Pages:183-186, Published:2012.
• [16] Puchala, D.: Approximating the klt by maximizing the sum of fourthordermoments. IEEE Signal Processing Letters 20(3) (2013) 193–19
• [17] Puchala, D., Yatsymirskyy, M.: Joint compression and encryption ofvisual data using orthogonal parametric transforms. Bulletin of thePolish Academy of Sciences Technical Sciences 64(2) (2016) 373–382
• [18] Kejariwal, A. Introducing practical and robust anomaly detection in a time series. Access: Nov, 22, 2018, blog.twitter.com: https://blog.twitter.com/engineering/en_us/a/2015/introducingpractical-and-robust-anomaly-detection-in-a-time-series.html
• [19] Shadan, M. Manipulating Time Series Data with xts. Access: Nov, 22, 2018, RPubs: https://rpubs.com/mohammadshadan/288218
• [20] Hyndman, Rob J. Highest Density Regions and Conditional Density Estimation,Access: Nov, 22, 2018, z cran.r-project.org: https://cran.r-project.org/web/packages/hdrcde/hdrcde.pdf
• [21] Venturini, Andrea Time Series Outlier Detection: A New Non- Parametric Methodology (Washer). 2011. Access: Nov, 22, 2018, https://rivistastatistica.unibo.it/article/viewFile/3617/2968
• [22] Rosner, Bernard On the detection of many outliers. Technometrics 1975, Issue 2, Volume 17, Pages 221-227
• [23] Chan, Liu Journal of the American Statistical Association, 1993, No. 421, Volume 88, Pages 284-297, Access: Nov, 22, 2018, istat.it: https://www.istat.it/it/files/2014/06/JointEstimation-of-Model-Parameters-and-Outlier-Effects-in-TimeSeries.pdf
• [24] Hyndman, Rob J. Computing and Graphing Highest Density Regions. The American Statistician, May 1996, No. 2, Vol. 50, Pages 120-126,Access: Nov, 22, 2018, webpages.uidaho.edu: http://www.webpages.uidaho.edu/~stevel/517/Computing%20a nd%20Graphing%20HDR.pdf

Uwagi

Opracowanie rekordu w ramach umowy 509/P-DUN/2018 ze środków MNiSW przeznaczonych na działalność upowszechniającą naukę (2019).