Błędy nielosowe i ich znaczenie w testowaniu hipotez

• Autorzy: Mirosław Szreder

Warianty tytułu

Non-random Errors and their Importance in Testing of Hypotheses

• Języki publikacji: PL

Abstrakty

We współczesnych badaniach reprezentacyjnych coraz częściej dają o sobie znać błędy o charakterze nielosowym, w tym w szczególności wynikające z braków odpowiedzi lub źle wykonanych pomiarów (niedokładnej obserwacji statystycznej). Do tej pory rzadko dyskutowano o skutkach tego typu błędów w procedurze weryfikacji hipotez statystycznych. Uwaga badaczy skupiała się niemal wyłącznie na błędzie losowania (błędzie losowym). Błąd ten maleje wraz ze wzrostem liczebności próby. To sprawia, że badacze, nierzadko mający do dyspozycji bardzo duże liczebnie próby, tracą z pola widzenia konsekwencje nie tylko błędu losowego, lecz także błędów nielosowych. Celem artykułu jest wskazanie na znaczenie błędów nielosowych w podejmowaniu decyzji opartych na wykorzystaniu klasycznej procedury weryfikacji hipotez. Szczególną uwagę poświęcono sytuacjom, w których badacz dysponuje dużą liczebnie próbą. W pracy uzasadniono twierdzenie, że w dużych próbach testy statystyczne stają się bardziej wrażliwe na oddziaływanie błędów nielosowych. Błędy systematyczne, będące szczególnym przypadkiem błędów nielosowych, zwiększają prawdopodobieństwo błędnej decyzji o odrzuceniu prawdziwej hipotezy wraz ze wzrostem liczebności próby. Wzbogacenie weryfikacji hipotez o analizę opartą na estymacji przedziałowej może wspomóc badacza w poprawnym wnioskowaniu. (abstrakt oryginalny)

EN

Increasing numbers of non-random errors are observed in contemporary sample surveying - in particular, those resulting from no response or faulty measutrements (imprecise statistical observation). Until recently, the consequences of these kinds of errors have not been widely discussed in the context of the testing of hypoteses. Researchers focused almost entirely on sampling errors (random errors), whose magnitude decreases as the size of the random sample grows. In consequence, researchers who often use samples of very large sizes tend to overlook the influence random and non-random errors have on the results of their study. The aim of this paper is to present how non-random errors can affect the decision-making process based on the classical hypothesis testing procedure. Particular attention is devoted to cases in which researchers manage samples of large sizes. The study proved the thesis that samples of large sizes cause statistical tests to be more sensitive to non-random errors. Systematic errors, as a special case of non-random errors, increase the probability of making the wrong decision to reject a true hypothesis as the sample size grows. Supplementing the testing of hypotheses with the analysis of confidence intervals may in this context provide substantive support for the researcher in drawing accurate inferences. (original abstract)

Słowa kluczowe

PL

Testowanie hipotez; Badania reprezentacyjne

EN

Hypothesis testing; Sampling survey

• Czasopismo: Wiadomości Statystyczne
• Rocznik: 2021
• Numer: nr 3
• Strony: 7-21

Twórcy

autor

Mirosław Szreder

• Uniwersytet Gdański

Bibliografia

• Amrhein, V., Greenland, S., McShane, B. (2019). Retire statistical significance. Nature, (567), 305-307. https://media.nature.com/original/magazine-assets/d41586-019-00857- 9/d41586-019-00857-9.pdf .
• Amrhein, V., Trafimow, D., Greenland, S. (2019). Inferential Statistics as Descriptive Statistics: There Is No Replication Crisis if We Don't Expect Replication. The American Statistician, 73(sup1), 262-270. https://doi.org/10.1080/00031305.2018.1543137 .
• Bakan, D. (1966). The test of significance in psychological research. Psychological Bulletin, 66(6), 423-437. https://doi.org/10.1037/h0020412 .
• Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45(12), 1304-1312. https://doi.org/10.1037/0003-066X.45.12.1304 .
• Dorofeev, S., Grant, P. (2006). Statistics for Real-Life Sample Surveys. Non-Simple- Random Samples and Weighted Data. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511543265 .
• Gelman, A., Stern, H. (2006). The Difference Between "Significant" and "Not Significant" is not Itself Statistically Significant. The American Statistician, 60(4), 328-331. https://doi.org/10.1198/000313006X152649 .
• Gigerenzer, G., Marewski, J. N. (2015). Surrogate Science: The Idol of a Universal Method for Scientific Inference. Journal of Management, 41(2), 421-440. https://doi.org/10.1177/0149206314547522 .
• Gigerenzer, G., Swijtink, Z., Porter, T., Daston, L., Beatty, J., Krüger, L. (1989). The Empire of Chance: How probability changed science and everyday life. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511720482 .
• Hirschauer, N., Grüner, S., Mußhoff, O., Becker, C., Jantsch, A. (2020). Can p-values be meaningfully interpreted without random sampling?. Statistics Surveys, 14, 71-91. https://doi.org/10.1214/20-SS129 .
• Leamer, E. E. (1978). Specification Searches: Ad Hoc Inference with Nonexperimental Data. New York: John Wiley & Sons. https://www.anderson.ucla.edu/faculty_pages/edward.leamer/books/specification_searches.htm .
• Lempert, R. O. (2009). The Significance of Statistical Significance: Two Authors Restate An Incontrovertible Caution. Why a Book?. Law & Social Inquiry, 34(1), 225-249. https://doi.org/10.1111/j.1747-4469.2009.01144.x .
• Lin, M., Lucas, H. C., Jr., Shmueli, G. (2013). Too Big to Fail-Large Samples and the p-Value Problem. Information Systems Research, 24(4), 906-917. https://doi.org/10.1287/isre.2013.0480 .
• Mercer, A. W., Kreuter, F., Keeter, S., Stuart, E. A. (2017). Theory and practice in nonprobability surveys. Parallels between causal inference and survey inference. Public Opinion Quarterly, 81(S1), 250-279. https://doi.org/10.1093/poq/nfw060 .
• Nunnally, J. (1960). The place of statistics in psychology. Educational and Psychological Measurement, 20(4), 641- 650. https://doi.org/10.1177/001316446002000401 .
• Paradysz, J. (1989). O błędach nielosowych w badaniu dzietności kobiet w ramach Narodowego Spisu Powszechnego 1970. W: Główny Urząd Statystyczny, Problemy badań statystycznych metodą reprezentacyjną (s. 154- 159). Warszawa.
• Paradysz, J. (2009). Błędy pokrycia w Narodowych Spisach Powszechnych. Statystyka w praktyce społeczno-gospodarczej. Prace Naukowe / Akademia Ekonomiczna w Katowicach, 65-76.
• Szreder, M. (2015). Zmiany w strukturze całkowitego błędu badania próbkowego. Wiadomości Statystyczne, 60(1), 4-12.
• Szreder, M. (2019). Istotność statystyczna w czasach big data. Wiadomości Statystyczne. The Polish Statistician, 64(11), 42-57. https://ws.stat.gov.pl/Article/2019/11/042-057 .
• Vogt, W. P., Vogt, E. R., Gardner, D. C., Haeffele, L. M. (2014). Selecting the Right Analyses for Your Data: Quantitative, Qualitative, and Mixed Methods. New York: The Guilford Press.
• Wasserstein, R. L., Lazar, N. A. (2016). The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. https://doi.org/10.1080/00031305.2016.1154108 .
• Ziliak, S. T., McCloskey, D. N. (2008). The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives. Ann Arbor: University of Michigan. https://doi.org/10.3998/mpub.186351 .

Identyfikatory

DOI

10.5604/01.3001.0014.7984