Metody uzupełniania brakujących danych na przykładzie liczby zarejestrowanych pojazdów

• Autorzy: Kulpa T.

Warianty tytułu

EN

Missing data imputation on example of number of registered trucks

• Języki publikacji: PL

Abstrakty

PL

W artykule podjęto problematykę braków w bazach danych wykorzystywanych w analizach transportowych. Braki występują zarówno w wynikach badań ankietowych, jak i innych bazach danych. Ich źródłem może być odmowa udzielenia odpowiedzi na pytanie, błędny pomiar lub po prostu dane nie są zbierane dla wszystkich elementów próby. W artykule wyróżniono trzy typy brakujących danych oraz dwie grupy metod ich uzupełniania: proste i złożone. Występowanie brakujących danych może mieć charakter losowy lub może być uzależnione od pewnych cech charakteryzujących populację. W pierwszym przypadku możliwe jest zastosowanie pełnej gamy metod uzupełniania brakujących danych. Pomimo tego częstą praktyką jest usuwanie wybrakowanych rekordów. Przy dużej próbie jest to metoda dopuszczalna, jednak w małych próbach powoduje dodatkowe zmniejszenie liczebności próby. Stąd konieczne jest poszukiwanie innych metod, np. uzupełnianie na podstawie podobnych rekordów, regresji liniowej lub metoda k-najbliższych sąsiadów. Różne metody uzupełniania brakujących danych zostały zilustrowane na fikcyjnych przykładach pokazujących ich istotę. Następnie wybrane metody wykorzystano do szacowania liczby zarejestrowanych samochodów ciężarowych w powiatach. Dokonana ocena poszczególnych metod pokazała, że najgorsze rezultaty uzyskano przy uzupełnianiu wartością średnią, natomiast najlepsze przy wykorzystaniu regresji liniowej. Zadowalające wyniki uzyskano również w przypadku metod złożonych. W podsumowaniu sformułowano wnioski dotyczące zastosowania technik uzupełniania brakujących danych, między innymi stosowanie usuwania brakujących rekordów tylko dla dużych prób oraz rezygnacji z uzupełniania wartością średnią na rzecz innych metod.

EN

In this paper missing data methods application was presented. Reasons of missing data might be various: caused by refusal to answer the question in inquiry, carelessness of person conducting the measurement or data are not collected or collected only for certain groups. Three types of missingness were listed: random, partially random and non-random, and two groups of imputation methods were characterised: simple and complex. However listwise deletion is widely used but it results in sample size reduction. Thus other methods should be explored. In paper different methods of missing data imputation were described using fictional examples. Next, chosen procedures were used to deal with missing data in number of trucks registered in districts. Each method was evaluated and conclusions were formulated. The worst results were achieved for mean imputation, while the best for single regression imputation.

Słowa kluczowe

PL

modelowanie podróży; badania ruchu; bazy danych

EN

trip modelling; traffic research; databases

• Wydawca: Stowarzyszenie Inżynierów i Techników Komunikacji Rzeczpospolitej Polskiej
• Czasopismo: Transport Miejski i Regionalny
• Rocznik: 2013
• Tom: nr 10
• Strony: 22--25
• Opis fizyczny: Bibliogr. 10 poz., tab.

Twórcy

autor

Kulpa T.

• Politechnika Krakowska, ul. Warszawska 24 31–155 Kraków, tel. [phone]

Bibliografia

• 1. Rubin D.B., Multiple Imputation for Nonresponse in Surveys, J. Wiley & Sons, New York 1987.
• 2. Schafer J.L., Analysis of Incomplete Multivariate Data, Chapman & Hall, London 1997.
• 3. Lynch S.M., SOC504 Course Website, Missing Data Notes, http://www.princeton.edu/~slynch/soc504/soc504index. html (odczyt z dn. 28 listopada 2012 r.).
• 4. Acock A.C., Working with missing Values, Journal of Marriage and Family 67 (November 2005): 10121028.
• 5. Conklin J.H., Scherer W.T., Data Imputation Strategies for ansportation Management Systems, Research Report No. UVACTS-13-0-80 May, 2003.
• 6. Nguyen L.N., Scherer W.T., Imputation Techniques to Account for Missing Data in Support of Intelligent Transportation Systems Applications, Research Report No. UVACTS-13-0-78, May, 2003.
• 7. Studium układu dróg szybkiego ruchu w Polsce, Politechnika Warszawska, Instytut Dróg i Mostów, Warszawa 2007.
• 8. Suwara T., Analiza ruchu zamiejskiego, WKiŁ, Warszawa 1988.
• 9. Kulpa T., Modelowanie potencjałów ruchotwórczych w drogowych przewozach ładunków w skali regionu, Praca doktorska, Politechnika Krakowska, 2013.
• 10. SOLAS Imputation Manual, SOLASTM Version 4.0, 2011.