Application of the Statistical Error and Quantitative Performance Measures in the Evaluation Process of Short-Term Air Quality Forecasts for Krakow (Poland)

• Autorzy: Szulecka A. , Mazur M.

Identyfikatory

DOI

10.7494/geom.2016.10.3.87

Warianty tytułu

PL

Zastosowanie statystycznych miar błędów i wskaźników wydajności modelu w procesie oceny krótkoterminowych prognoz jakości powietrza w Krakowie (Polska)

• Języki publikacji: EN

Abstrakty

EN

Currently, mathematical modelling air quality forecasts is of great importance due to the need of informing the population about the upcoming concentrations of air pollutants and issuing accurate alerts. At each stage in the application of a modelling system a proper verification and performance diagnostics is required. This paper presents the results of a statistical evaluation of the short-term air quality forecasting system for the area of Krakow, Poland, over the period of April 2014 – March 2015. The analysed forecasts are prepared by Warsaw University of Technology on the basis of the modelling system created by the EkoForecast foundation. Calculations in this system are performed by the GEM-AQ model, which produces publicly available predictions of the daily average concentrations of PM10, PM2.5, NO2 , SO2 , CO and O3 . In this study these values were compared to the measured observations recorded at the urban background station in Krakow (Bujaka St.) with the use of error statistics and quantitative performance measures suggested by the US EPA. The results of the analysis indicate good reliability of PM10 and PM2.5 forecasted concentrations during the examined period of time, which provides high correlation rates for these observations. Evaluated model tends to overestimate all the predictions in reference to Bujaka St. station measurements. The highest discrepancies are evident in the case of sulphur dioxide (SO2) and ozone (O3) predictions occurring mainly during the non-heating season. Insuffi cient forecast accuracy aff ects the reliability of the predicted Common Air Quality Index (CAQI), which depends on the concentration of particular air pollutants.

PL

Obecnie matematyczne modelowanie prognozowania jakości powietrza ma duże znaczenie ze względu na potrzebę informowania ludności o spodziewanych stężeniach zanieczyszczeń i wydawania odpowiednich ostrzeżeń. Na każdym etapie stosowania systemu modelowania wymagana jest dokładna weryfi kacja i diagnostyka jego wydajności. W pracy przedstawiono wyniki oceny statystycznej systemu krótkoterminowych prognoz jakości powietrza na obszarze Krakowa (Polska) w okresie kwiecień 2014 – marzec 2015. Prognozy opierają się na systemie modelowania opracowanym przez fundację EkoPrognoza i udostępnianym Politechnice Warszawskiej. Obliczenia wykonywano za pomocą modelu GEM-AQ, a ich wynikiem są publicznie dostępne prognozy średnich dziennych stężeń PM10, PM2,5, NO2 , SO2 , CO oraz O3 . W trakcie prowadzonych badań wartości te zostały porównane z wynikami obserwacji pomiarowych rejestrowanych na stacji tła miejskiego w Krakowie (ul. Bujaka) przy użyciu statystyk błędów i mierników wydajności modelu zalecanych przez Amerykańską Agencję Ochrony Środowiska. Wyniki przeprowadzonych obliczeń wskazują na dobrą sprawdzalność prognoz stężeń PM10 oraz PM2,5 w okresie analizy, co skutkuje ich silną korelacją z wynikami pomiarów. Oceniany model przejawia tendencję do przeszacowywania wszystkich prognoz w odniesieniu do pomiarów stężeń substancji gazowych na stacji przy ul. Bujaka. Największe rozbieżności dotyczą prognoz stężenia dwutlenku siarki (SO2) oraz ozonu (O3) i są charakterystyczne głównie dla sezonu pozagrzewczego. Niedokładność prognoz wpływa na wiarygodność przewidywanej wartości wspólnego indeksu jakości powietrza (CAQI), będącego wypadkową stężeń poszczególnych zanieczyszczeń powietrza.

Słowa kluczowe

EN

air quality; pollutant concentrations; forecasting model; GEM-AQ; statistical evaluation

PL

jakość powietrza; stężenia zanieczyszczeń; modelowanie prognostyczne; GEM-AQ; ocena statystyczna

• Wydawca: AGH University of Science and Technology Press
• Czasopismo: Geomatics and Environmental Engineering
• Rocznik: 2016
• Tom: Vol. 10, no. 3
• Strony: 87--99
• Opis fizyczny: Bibliogr. 26 poz., rys., tab., wykr.

Twórcy

autor

Szulecka A.

• AGH University of Science and Technology, Faculty of Mining Surveying and Environmental Engineering, Department of Environmental Management and Protection, Krakow, Poland

autor

Mazur M.

• AGH University of Science and Technology, Faculty of Mining Surveying and Environmental Engineering, Department of Environmental Management and Protection, Krakow, Poland

Bibliografia

• [1] Air Quality in Europe, [on-line:] htt p://www.airqualitynow.eu/ [access: December 2015].
• [2] Armstrong J.S., Collopy F.: Error Measures for Generalizing About Forecasting Methods: Empirical Comparisons. International Journal of Forecasting, vol. 8, 1992, pp. 69–80.
• [3] Central Statistical Offi ce (GUS): Size and structure of population and vital statistics in Poland by territorial division in 2014. As of December 31. Warsaw 2015.
• [4] Chang J.C., Hanna S.R.: Technical Descriptions and User’s Guide for the BOOT Statistical Model Evaluation Software Package, v. 2.0, 2005.
• [5] Chang J.C., Hanna S.R.: Air quality model performance evaluation. Meteorology and Atmospheric Physics, vol. 87, issue 1, 2004, pp. 167–196.
• [6] Davila S., Ilić J.P., Bešlić I.: Real-time dissemination of air quality information using data streams and Web technologies: linking air quality to health risks in urban areas. Archives of Industrial Hygiene and Toxicology, vol. 66, issue 2, 2015, pp. 171–180.
• [7] Derwent D., Fraser A., Abbott J., Jenkin M., Willis P., Murrells T.: Evaluating the Performance of Air Quality Models. 2010, [on-line:] htt p://uk-air.defra.gov.uk/ [access: December 2015].
• [8] Directive 2008/50/EC of the European Parliament and of the Council of 21 May 2008 on ambient air quality and cleaner air for Europe (CAFE).
• [9] EkoForecast foundation, [on-line:] htt p://www.ekoprognoza.pl/ [access: January 2016].
• [10] Elshout S., Bartelds H., Heich H., Léger K.: CAQI Air quality index – Comparing Urban Air Quality across Borders – 2012. Shiedam 2012.
• [11] European Environmental Agency: SOER 2015 – The European environment – state and outlook 2015. Copenhagen 2015.
• [12] Kamiński J.W., Neary L., Strużewska J., McConnell J.C., Lupu A., Jarosz J., Toyota K., Gong S.L., Côté J., Liu X., Chance K., Richter A.: GEM-AQ, an on-line global multiscale chemical weather modelling system: model description and evaluation of gas phase chemistry processes. Atmospheric Chemistry and Physics, vol. 8, 2008, pp. 3255–3281.
• [13] WIOŚ Kraków: System monitoringu jakości powietrza, [on-line:] htt p://monitoring.krakow.pios.gov.pl/ [access: December 2015].
• [14] Markiewicz M.T.: Podstawy modelowania rozprzestrzeniania się zanieczyszczeń w powietrzu atmosferycznym. Ofi cyna Wydawnicza Politechniki Warszawskiej, Warszawa 2004.
• [15] Neary L., Kamiński J.W., Lupu A., McConnell J.C.: Developments and Results from a Global Multiscale Air Quality Model (GEM-AQ). [in:] Air Pollution Modeling and Its Application, XVII, vol. 5, Springer US, 2007.
• [16] Oleniacz R., Rzeszutek M.: Assessment of the impact of spatial data on the results of air pollution dispersion modeling. Geoinformatica Polonica, vol. 13, 2014, pp. 57–68.
• [17] Shaocai Y., Mathur R., Kang D., Schere K., Pleim J., Ott e T.L.: A detailed evaluation of the Eta-CMAQ forecast model performance for O3, its related precursors, and meteorological parameters during the 2004 ICARTT study. Journal of Geophysical Research, vol. 112, D12S14, 2007.
• [18] Strużewska J., Zdunek M., Kamiński J.W., Łobocki L., Porębska M., Jefimow M., Gawuc L.: Evaluation of the GEM-AQ model in the context of the AQMEII Phase 1 project. Atmospheric Chemistry and Physics, vol. 15, 2015, pp. 3971–3990.
• [19] Strużewska-Krajewska J., Kamiński J.W., Durka P., Jefimow M.: Sprawdzalność operacyjnej prognozy stanu jakości powietrza dla obszaru województwa małopolskiego w okresie od grudnia 2013 do września 2014. Warszawa 2014.
• [20] Strużewska-Krajewska J., Kamiński J.W., Durka P., Jefi mow M.: Sprawdzalność operacyjnej prognozy stanu jakości powietrza dla obszaru województwa małopolskiego w okresie od października 2014 do września 2015. Warszawa 2015.
• [21] Szczygłowski P., Mazur M.: Application of BOOT statistical package in calculating pollutant spreading in air. Environment Protection Engineering, vol. 34, no. 4, 2008, pp. 151–156.
• [22] Szulecka A.: Porównanie prognostycznych i rzeczywistych wartości stężeń zanieczyszczeń powietrza w Krakowie. AGH, Wydział Geodezji Górniczej i Inżynierii Środowiska, Katedra Kształtowania i Ochrony Środowiska, Kraków 2015 [M.Sc. thesis, unpublished].
• [23] Szulecka A.: Prognozowanie jakości powietrza w Krakowie. AURA: pismo Naczelnej Organizacji Technicznej, 1/2016, pp. 7–9.
• [24] Wrota Małopolski: Jakość powietrza w Małopolsce, [on-line:] htt p://www.powietrze.malopolska.pl/prognozy/ [access: March 2016].
• [25] Zhang Y., Liu P., Pun B., Seigneur C.: A Comprehensive Performance Evaluation of MM5-CMAQ for the Summer 1999 Southern Oxidants Study Episode, Part I: Evaluation Protocols, Databases and Meteorological Predictions. Atmospheric Environment, vol. 40, issue 26, 2006, pp. 4825–4838.
• [26] Zhang Y., Seigneur C., Bocquet M., Mallet V., Baklanov A.: Real-Time Air Quality Forecasting. Part I: History, Techniques, and Current Status. Atmospheric Environment, vol. 60, 2012, pp. 632–655.

Uwagi

The paper has been prepared within the scope of the AGH UST statutory research no. 11.11.150.008

Opracowanie ze środków MNiSW w ramach umowy 812/P-DUN/2016 na działalność upowszechniającą naukę.