Wyniki wyszukiwania - BazTech

1

Classifiers accuracy improvement based on missing data imputation

Jordanov I., Petrov N., Petrozziello A.

Journal of Artificial Intelligence and Soft Computing Research

|

2018

|

Vol. 8, No. 1

31--48

EN

In this paper we investigate further and extend our previous work on radar signal identification and classification based on a data set which comprises continuous, discrete and categorical data that represent radar pulse train characteristics such as signal frequencies, pulse repetition, type of modulation, intervals, scan period, scanning type, etc. As the most of the real world datasets, it also contains high percentage of missing values and to deal with this problem we investigate three imputation techniques: Multiple Imputation (MI); K-Nearest Neighbour Imputation (KNNI); and Bagged Tree Imputation (BTI). We apply these methods to data samples with up to 60% missingness, this way doubling the number of instances with complete values in the resulting dataset. The imputation models performance is assessed with Wilcoxon’s test for statistical significance and Cohen’s effect size metrics. To solve the classification task, we employ three intelligent approaches: Neural Networks (NN); Support Vector Machines (SVM); and Random Forests (RF). Subsequently, we critically analyse which imputation method influences most the classifiers’ performance, using a multiclass classification accuracy metric, based on the area under the ROC curves. We consider two superclasses (‘military’ and ‘civil’), each containing several ‘subclasses’, and introduce and propose two new metrics: inner class accuracy (IA); and outer class accuracy (OA), in addition to the overall classification accuracy (OCA) metric. We conclude that they can be used as complementary to the OCA when choosing the best classifier for the problem at hand.

2

Influence of missing data imputation method on the classification accuracy of the medical data

Orczyk T., Porwik P.

Journal of Medical Informatics & Technologies

|

2013

|

Vol. 22

111--116

EN

Aim of this study is to show the dangers of filling missing data - particularly medical data. Because there are many dedicated medical expert systems and medical decision support systems, a special attention must be paid on the construction of classifiers. Medical data are almost never complete, and completion of the missing data requires a special care. The safest approach of dealing with missing data would be removing records with missing parameters and/or removing parameters that are missing in the records. Unfortunately reducing data set that is already very small is not always an option. Dangers coming out from data imputation are shown in the article, which presents the influence of selected missing data filling algorithms on the classification accuracy.

3

Analiza metod uzupełniania brakujących danych w procesie konstruowania syntetycznych wskaźników zrónoważonego rozwoju transportu

Barczak A.

Logistyka

|

2012

|

nr 3

PL

Ze względu na złożoność problematyki zrównoważonego rozwoju transportu, w procesie podejmowania decyzji, a także w procesie edukacji i informowania społeczeństwa celowe jest zastosowanie syntetycznych wskaźników. Ich wieloaspektowość powoduje jednak, że dane do ich wyznaczania nie zawsze są dostępne. Konieczne jest zatem wykorzystanie numerycznych metod wstawiania brakujących danych. W artykule przeprowadzono analizę metod wstawiania brakujących danych pod kątem ich wykorzystania oraz przeprowadzono numeryczną symulację uzupełniania brakujących danych dla przebiegów emisji zanieczyszczeń wywołanych ruchem pojazdu.

EN

Due to the complexity of sustainable development in transportation, in the processes of decision-making as well as in education and public information, it is advisable to apply composite indicators. However, because of the multiplicity of aspects involved in the process of composite indicators usage the necessary data is not always available. It is therefore required to use numerical methods to insert the missing data. In the article, the analysis of missing data imputation methods was conducted and the numerical simulation of imputation of missing data was performed for emissions measured during on-road test.

4

On classification with missing data using rough-neuro-fuzzy systems

Nowicki R. K.

International Journal of Applied Mathematics and Computer Science

|

2010

|

Vol. 20, no 1

55-67

EN

The paper presents a new approach to fuzzy classification in the case of missing data. Rough-fuzzy sets are incorporated into logical type neuro-fuzzy structures and a rough-neuro-fuzzy classifier is derived. Theorems which allow determining the structure of the rough-neuro-fuzzy classifier are given. Several experiments illustrating the performance of the roughneuro-fuzzy classifier working in the case of missing features are described.

5

Porównanie dokładności różnych metod predykcji stężeń zanieczyszczeń powietrza

Hoffman S., Jasiński R.

Inżynieria i Ochrona Środowiska

|

2009

|

T. 12, nr 4

307-325

PL

W analizie wykorzystano dane zarejestrowane w latach 2004-2008 na ośmiu stacjach monitoringu powietrza działających w różnych miejscowościach województw łódzkiego i mazowieckiego. W pracy badano możliwości aproksymacji stężeń zanieczyszczeń mierzonych na stacjach monitoringu powietrza. Ocenę jakości modelowania wykonano poprzez porównanie modelowanych stężeń ze stężeniami rzeczywistymi. Do predykcji stężeń wykorzystano sieci neuronowe. Porównywano dokładność pięciu różnych grup modeli: modeli szeregów czasowych, liniowych modeli regresji wielowymiarowej, nieliniowych modeli regresji wielowymiarowej, liniowych modeli regresji wielowymiarowej eksplorujących dane pochodzące z sąsiednich stacji monitoringu i nieliniowych modeli regresji wielowymiarowej eksplorujących dane pochodzące z sąsiednich stacji monitoringu. Celem praktycznym była rekomendacja optymalnych technik modelowania luki pomiarowej obejmującej pewien dłuższy fragment serii czasowej tylko jednego z zanieczyszczeń powietrza przy założeniu, że są dostępne wszystkie pozostałe dane, w tym dane pochodzące z sąsiednich stacji monitoringu powietrza. Wykonana analiza wykazała, że dla każdego z zanieczyszczeń powietrza należy rekomendować inne metody predykcji, ponieważ występują duże różnice w możliwościach modelowania poszczególnych zanieczyszczeń powietrza. Stężenia takich zanieczyszczeń, jak O3, SO2, PM10 można efektywnie modelować metodą szeregów czasowych, ale tylko do pewnego horyzontu prognozy, po którym regresyjne metody modelowania okazują się dokładniejsze. W modelowaniu stężeń O3 i PM10 efektywne może się okazać wykorzystanie stężeń tych zanieczyszczeń zarejestrowanych na innych stacjach monitoringu powietrza. W przypadku pozostałych zanieczyszczeń NO, NO2 i CO zasadne jest stosowanie tylko jednej metody modelowania - analizy regresji. Liniowe modele regresyjne są mniej dokładne od ich nieliniowych odpowiedników. Różnice dokładności obu typów modeli nie zawsze są duże. Dlatego modele liniowe mogą stanowić praktyczną alternatywę dla nieliniowych odpowiedników.

EN

Air monitoring data collected over a 5-year period at 8 different measure sites in Central Poland were used as the database for analysis purposes. Approximation of concentrations of monitored air pollutants were done by means of several prediction methods: time series analysis, regression analysis with predictors from a single monitoring station, and regression analysis with external predictors. Separate models were created for O3, NO2, NO, PM10, SO2, CO. Modelled and measured concentrations were compared. As a result prediction errors were calculated for each model. The main objective of analysis was a comparison of prediction results, and recommendation the most accurate modelling methods, dedicated to specified pollutants. The examination was made by means of artificial neural networks, which were employed to create all types of models.

6

Klasyfikacja luk pomiarowych w danych rejestrowanych na stacjach monitoringu powietrza

Hoffman S., Jasiński R.

Inżynieria i Ochrona Środowiska

|

2009

|

T. 12, nr 2

101-117

PL

Rejestrowane na stacjach monitoringu powietrza zbiory danych nigdy nie są kompletne. W skali roku liczba odnotowywanych braków jest zmienna. Ocena jakości powietrza na podstawie niepełnych pomiarów jest utrudniona. Obowiązujące przepisy prawne dopuszczają możliwość wykorzystania modelowania w celu uzupełnienia brakujących danych. Rozpoznanie typowych struktur obszarów z brakującymi danymi umożliwia ich klasyfikację, a następnie rekomendację odpowiednich metod modelowania dla wyszczególnionych klas. Celem badań było wytypowanie charakterystycznych struktur luk pomiarowych w zbiorach danych i określenie częstości ich występowania. Klasyfikację przypadków z brakującymi danymi zaproponowano na podstawie przeglądu wieloletnich danych, pochodzących z kilku różnych stacji pomiarowych automatycznego monitoringu powietrza. Analizowano serie czasowe chwilowych stężeń podstawowych zanieczyszczeń powietrza (O3, NO2, NO, PM10, SO2, CO), zarejestrowanych w latach 2004-2008 na stacjach monitoringu powietrza Warszawa-Ursynów, Radom, Łódź-Widzew, Piotrków Trybunalski. Na podstawie wyników przeprowadzonej analizy można stwierdzić, że brakujące dane występują powszechnie w zbiorach danych pochodzących z monitoringu powietrza. Częstość ich występowania w rocznych seriach pomiarowych może wynosić od kilku do nawet kilkudziesięciu procent. Większość luk pomiarowych jest krótka - stanowią je głównie pojedyncze przypadki. Zdecydowanie rzadziej występują bloki brakujących danych, przekraczające 3-4 przypadki (dłuższe od 3-4 godzin). Największą częstość występowania przypadków z niezarejestrowanymi wynikami odnotowano dla luk najdłuższych, obejmujących więcej niż 24 przypadki (>24 godziny).

EN

The data gathered continuously in the air monitoring systems are never entire. In the whole year, the number of missing records is changeable. The deficiency of data could result in uncertainty of a statistical assessment, required by the air quality standards, and cause the uselessness of monitoring measurements. Air quality standards permit to use modelling in order to recreate the missing data when the completeness of the monitoring set is not sufficient. Applied modelling methods should guarantee possibly the best precision to achieve the air quality assessment being closest to reality. Single, specified method does not assure the maximal accuracy because the missing data in data matrix may create gaps of various shapes and ranges. Recognition of typical structures of missing data fields should be the base of their classification. For the specified classes of gaps the optimum modelling methods may be recommended and assigned. The main objective of the analysis was to select typical patterns of gaps in air monitoring data matrixes, and the assessment of their appearing. The missing data classification was suggested after long-term data survey. The analyzed data sets derived from 4 different air monitoring sites in the Central Poland (Warsaw-Ursynów, Radom, Lodz-Widzew, Piotrków Trybunalski). The data were gathered in the period 2004-2008. The examined time-series involved hourly concentrations of main air pollutants: O3, NO2, NO, PM10, SO2, CO. The results allow coming to some general conclusions. Missing data commonly occur in sets of air monitoring records. Gaps may include up to several or even more per cent of all expected data in yearly measuring series. For all air pollutants, the most of the gaps in monitoring time series are very short. Single (1-hour) missing values dominate among gaps of different length. Gaps lengths exceeding 3-4 hours are observed occasionally. However, the greatest frequency of single without-data cases appearing is observed in the longest gaps (>24 hours), because of their lengths.

7

Aproksymacja stężeń zanieczyszczeń powietrza za pomocą neuronowych modeli szeregów czasowych

Hoffman S.

Inżynieria i Ochrona Środowiska

|

2009

|

T. 12, nr 3

231-239

PL

W pracy oceniono możliwości aproksymacji stężeń zanieczyszczeń mierzonych na stacjach monitoringu powietrza. Do predykcji stężeń wykorzystano neuronowe modele szeregów czasowych. Jakość modelowania testowano na rzeczywistych danych pochodzących ze stacji monitoringu powietrza Łódź-Widzew, zarejestrowanych w latach 2004-2008. Analizie poddano względnie kompletny zbiór danych, obejmujący stężenia 6 podstawowych zanieczyszczeń powietrza: O3, NO2, NO, PM10, SO2, CO. Celem badawczym było określenie i porównanie dokładności predykcji stężeń różnych zanieczyszczeń powietrza. Modelowanie przeprowadzono, stosując sztuczne sieci neuronowe. Trening sieci odbywał się przy użyciu liniowego algorytmu pseudoinwersji. Wyjściem modelu było stężenie wybranego zanieczyszczenia w określonym czasie. Wejściami były wartości stężeń zarejestrowane w godzinach wcześniejszych. Każdy model charakteryzowały dwie wielkości: horyzont prognozy i liczba wartości opóźnionych. W analizie określono dokładność predykcji stężeń wybranych zanieczyszczeń dla stałej liczby wartości opóźnionych równej 24 przy zmieniającym się horyzoncie prognozy od 1 do 240 godz. Jako kryterium jakości modelowania przyjęto wartość błędu aproksymacji.

EN

An assessment of quality of air pollutants concentration modeling was the main research purpose. The examination was made by means of artificial neural networks, which were employed to create time-series models. The quality of approximation was tested on the actual set of air monitoring data, gathered over a 5-year period at the measure site in Lodz-Widzew (Central Poland). The examined time-series involved hourly concentrations of main air pollutants: O3, NO2, NO, PM10, SO2, CO. The research aim was the estimation and the comparison of prediction accuracy for different air pollutants. Time-series models were characterized by two parameters which might influence the prediction quality: lookahead and steps. For all models the constant number of steps equal 24 hours was assumed. The effect of changes of lookahead in the range 1÷ 240 hours was analyzed. It was stated that the decreasing of precision of time-series models with the increase of lookahead is observed. The drop of accuracy depends on pollutant. The furthest reasonable prognosis may be done for ozone concentration. Approximation accuracy shortens in the order: O3, CO, SO2, PM10, NO2, NO.