Data mining system for air quality monitoring networks

• Autorzy: Czechowski P. , Badyda A. , Majewski G.

Identyfikatory

DOI

10.2478/aep-2013-0041

• Języki publikacji: EN

Abstrakty

EN

The use of quantitative methods, including stochastic and exploratory techniques in environmental studies does not seem to be sufficient in practical aspects. There is no comprehensive analytical system dedicated to this issue, as well as research regarding this subject. The aim of this study is to present the Eco Data Miner system, its idea, construction and implementation possibility to the existing environmental information systems. The methodological emphasis was placed on the one-dimensional data quality assessment issue in terms of using the proposed QAAH1 method - using harmonic model and robust estimators beside the classical tests of outlier values with their iterative expansions. The results received demonstrate both the complementarity of proposed classical methods solution as well as the fact that they allow for extending the range of applications significantly. The practical usefulness is also highly significant due to the high effectiveness and numerical efficiency as well as simplicity of using this new tool.

Słowa kluczowe

EN

air pollutants; data quality analysis; data mining; estimation; exploratory methods; harmonic; principal component analysis; statistical tests outliers; influential; leverage observations; analytical software system; programming; Eco Data Miner; EDM; Winsorized mean; Cook; Mahalanobis distance; DFITS; COVRATIO

• Wydawca: Institute of Environmental Engineering, Polish Academy of Sciences
• Czasopismo: Archives of Environmental Protection
• Rocznik: 2013
• Tom: Vol. 39, no. 4
• Strony: 123--147
• Opis fizyczny: Bibliogr. 33 poz., rys., tab., wykr.

Twórcy

autor

Czechowski P.

• Gdynia Maritime University, Information Systems Department, Morska 83, 81-225 Gdynia

autor

Badyda A.

• Warsaw University of Technology, Environmental Engineering Faculty, Nowowiejska 20, 00-653 Warsaw

autor

Majewski G.

• Warsaw University Of Life Sciences – SGGW, Department of Meteorology and Climatology Nowoursynowska 166, 02-787 Warsaw

Bibliografia

• [1] Badyda, A., Dąbrowiecki, P., Lubiński, W., Czechowski, P.O., & Majewski G. (2013). Exposure to traffic- -related air pollutants as a risk of Airway Obstruction. Advances in Experimental Medicine and Biology, 755, 35-45, DOI: 10.1007/978-94-007-4546-9_5.
• [2] Badyda, A., Dąbrowiecki, P., Lubiński, W., Czechowski, P.O., Majewski, G., Chciałowski, A., & Kraszewski, A. (2013). Influence of Traffic-Related Air Pollutants on Lung Function: Warsaw Study. Advances in Experimental Medicine and Biology, 788, 229-235, DOI: 10.1007/978-94-007-6627-3_33.
• [3] Czechowski, P.O., & Kraszewski, K.A. (2009). Określenie horyzontu prognoz ostrzegawczych zanieczyszczeń atmosfery metodami stochastycznymi na przykładzie dwutlenku azotu w skali lokalnej - koncepcja systemu Eco Data Miner. Zeszyty Naukowe Uniwersytetu Gdańskiego, 38, 229-246.
• [4] Czechowski, P.O. (2009). Mechanizmy oceny jakości danych pomiarowych w koncepcji systemu analitycznego Eco Data Miner, Gdańsk 2009.
• [5] Czechowski, P.O. (2001). Ocena jakości danych pochodzących z sieci monitorującej stan atmosfery na przykładzie Aglomeracji Gdańskiej, Gliwice 2001.
• [6] Czechowski, P.O. (2004). Statystyczna interpolacja braków danych pomiarowych [In.] Raport 2003 o stanie zanieczyszczeń powietrza atmosferycznego w Aglomeracji Gdańskiej, Gdańsk 2004.
• [7] Czechowski, P.O. (2004). System prognozowania wysokich stężeń dwutlenku azotu w atmosferze (na przykładzie Aglomeracji Gdańskiej), Warszawa 2004.
• [8] Daley, R. (1991). Atmosferic Data Analysis, Cambridge University Press 1991.
• [9] Domański, Cz., Pruska, K., & Wagner, W. (1998). Wnioskowanie przy nieklasycznych założeniach. Wydawnictwo Uniwersytetu Łódzkiego, Łódź 1998.
• [10] Domański, C., & Pruska, K. (2000). Nieklasyczne metody statystyczne; PWE; Warszawa 2000.
• [11] EPA, Data Quality Assessment: A Reviewer’s Guide, EPA QA/G-9R 2000 & EPA/240/B-06/002. 2006.
• [12] EPA.; Guidance for Data Quality Assessment; Practical Methods for Data Analysis; EPA QA/G-9 QA00 Update; EPA/600/R-96/084.2000, 2007.
• [13] Finzi, G., Calori, G., & Tonezzer, C. (1993). A decision support system for air quality network design; DSS for air quality management. Environmental Monitoring and Assessment, 33, 101-114.
• [14] Solak, M.K. (2009). Detection of multiple outliers in univariate data sets. PharmaSUG 2009: http://www.lexjansen.com/pharmasug/2009/sp/sp06.pdf.
• [15] Iglewicz, B., & Hoaglin, D.C. (1993). How to Detect and Handle Outliers. ASQC Quality Press, Milwaukee 1993.
• [16] Juda-Rezler, K., Reizer, M., & Oudinet, J.P. (2011). Determination and analysis of PM10 source apportionment during episodes of air pollution in Central Eastern European urban areas: The case of wintertime 2006. Atmospheric Environment, 45, 6557-6566.
• [17] Kalnay, E. (2003). Historical overview of numerical weather prediction [In.] Atmospheric modeling, data Assimilation and Predictability, Cambridge Univeristy Press 2003.
• [18] Kalnay, E. (2004 ). Postprocessing of Numerical Model Output to Obtain Station Weather Forecasts; Statistical Forecasting: with NWP. Working papers Meteo Course, 2004.
• [19] Kraszewski, A. (2002). Ekoinfonet - Information System for State Monitoring of Environment in Poland. EnviroInfo Vienna, 1, 117-124, Viena 2002.
• [20] Łobocki, L. (2003). Wskazówki metodyczne dotyczące modelowania matematycznego zarządzania jakością powietrza; Ministry of Environment; Chief Inspectorate of Environmental Protection; Warsaw 2003.
• [21] Madany, A. (1997). Air quality simulation models in Poland. Quarterly Journal of the Hungarian Meteorological Service; 101, 1, 33-43.
• [22] Majewski, G., Czechowski, P.O., Badyda, A.J., & Rogula-Kozłowska, W. (2013). The Estimation of Total Gaseous Mercury Concentration (TGM) Using Exploratory and Stochastic Methods. Polish Journal of [8] Environmental Studies, 22, 3, 759-771.
• [23] Majewski, G., Czechowski, P.O., Badyda, A., Kleniewska, M., & Brandyk, A. (2013). Ocena stężenia całkowitej rtęci gazowej (TGM) na terenie stacji tła regionalnego Granica-KPN (województwo mazowieckie, Polska) w latach 2010-2011. Rocznik Ochrona Środowiska/Annual Set The Environment Protection, 15, 1302-1317.
• [24] Majewski G. (2009). Study of Particulate Matter Pollution in Warsaw Area. Polish Journal of Environmental Studies, 18, 2, 293-300.
• [25] McCollister, G., & Wilson, K.; Linear stochastic models for forecasting daily maxima and hourly concentrations of air pollutants. Atmospheric Environment, 9, 417-423.
• [26] Ostasiewicz W., [Ed.] (1998). Statystyczne metody analizy danych; Wydawnictwo Akademii Ekonomicznej im. Oskara Langego; Wrocław 1998.
• [27] Podawca, K., & Rutkowska, G. (2013). Analiza przestrzennego rozkładu typów zanieczyszczeń powietrza w układzie dzielnic m.st. Warszawy; Rocznik Ochrona Środowiska/Annual Set The Environment Protection, 15, 2090-2107.
• [28] Rong Chun Yu, Hee Wen Teh,. Jaques, P.A., Sioutas, C., & Froines J.R.(2004). Quality control of semi-continuous mobility size-fractionated particle number concentration data. Atmospheric Environment, 38, 3341-3348.
• [29] Siewor, J., Tumidajski, T., Foszcz, D., & Niedoba, T. (2011). Prognozowanie stężeń zanieczyszczeń powietrza w GOP-ie modelami statystycznymi. Rocznik Ochrona Środowiska/Annual Set The Environment Protection, 13, 1261-1274.
• [30] Simpson, R., & Jakeman, A.(1984). A model for estimating the effects of fl uctuations in long term meteorology on observed maximum acid gas levels. Atmospheric Environment, 18, 8, 1633-1640.
• [31] Sioutas, C., & Rosner, B. (1983). Percentage points for a generalized ESD many-Outlier Procedure. Technometrics 25, 165-172.
• [32] Tarkowski, R., Sroczyński, W., Luboń, K., Wdowin, M. (2012). Wstępne wyniki testu aparatury do ciągłego pomiaru stężenia CO2 w powietrzu glebowym na stanowisku Szczawnicy; Rocznik Ochrona [8] Środowiska/Annual Set The Environment Protection, 14, 930-944.
• [33] Trapp , J.A. [Ed.]. (1996). Wstępne wyniki badań nad zmiennością średniej miesięcznej temperatury powietrza w Gdańsku w latach 1851-1995, Wydawnictwo DJ 1996.