Tests for outliers. A Monte Carlo evaluation of the error of first type

• Autorzy: Gawłowski J. , Bartulewicz J. , Gierczak T. , Niedzielski J.

Warianty tytułu

PL

Testy na błędy grube. Użycie metody Monte Carlo do oznaczania błędów decyzyjnych pierwszego rodzaju

• Języki publikacji: EN

Abstrakty

EN

To examine the effects of rejection of apparent outliers detected in a large population of observations by a statistical test, a Monte Carlo method was applied to generate one million sets of a normal distribution, each containing from 4 to 10 observations. The Dixon and Grubbs tests at a significance level of 196 and 5% as well as the Chauvenet rule were used to search for outliers. While the presence of apparent outliers was of no effect on the values of the means and standard deviations, the rejection of outliers resulted in significant deformations of both quantities. If statistical tests are to be applied as methods for rejection of deviating , experimental data in chemical analysis, the significance level should not exceed 196. Otherwise, the errors of the first kind and consequent falsification of the results become too serious. The Grubbs test seems to be superior to the Dixon test as the critical valucs for the latter test are less accurate. The use of the Chauvenet's rule is not adviced, as the significance level is too variable and too large for the larger-sized sets.

PL

Przeprowadzono ocenę skutków odrzucenia wyniku pozornie odbiegającego, wykrytego przy użyciu testów statystycznych, posługując się generacją metodami Monte Carlo miliona zbiorów, opisywanych rozkładem normalnym, w każdym od 4 do 10 obserwacji. Stosowano testy Dixona i Grubbsa na poziomie istotności 1% i 5% oraz regułę Chauveneta. O źile obecność wyników pozornie odbiegających nic wpływała praktycznie ani na średnią, ani na odchylenie standartowe, o tyle ich odrzucenie wpływało na obie wartości bardzo wyraźnie niekorzystnie. Jeśli testy statystyczne mają być użyte do odrzucania wyników odbiegających, poziom istotności nie powinien przekraczać 1 %. W przeciwnym razie błędy pierwszego rodzaju, i powodowane nimi zniekształcenia wyników, stają się niedopuszczalnie duże. Test Grubbsa wydaje się górować nad testem Dixona, którego wartości krytyczne są wyznaczone mniej dokładnie. Reguła Chauveneta zupełnie zawodzi, charakteryzując się bardzo zmiennym i zbyt dużym, przynajmniej w przypadku liczniejszych zbiorów, poziomem istotności.

Słowa kluczowe

PL

błąd analizy; statystyczny test

• Wydawca: Komitet Chemii Analitycznej PAN
• Czasopismo: Chemia Analityczna
• Rocznik: 1998
• Tom: Vol. 43, No. 4
• Strony: 743--753
• Opis fizyczny: Bibliogr. 15 poz.

Twórcy

autor

Gawłowski J.

• Department of Chemistry, University of Warsaw, 02-089 Warsaw, Poland

autor

Bartulewicz J.

• Laboratory of Environmental Chemistry, National Foundation for Environmental Protection, 02-089 Warsaw, Poland

autor

Gierczak T.

• Department of Chemistry, University of Warsaw, 02-089 Warsaw, Poland

autor

Niedzielski J.

• Department of Chemistry, University of Warsaw, 02-089 Warsaw, Poland

Bibliografia

• 1. Barnett V. and Lewis T., Outliers in statistical data, 3rd edn., Wiley, Chichester 1994.
• 2. Miller J.C. and Miller J.N., Statistics for Analytical Chemistry, 2nd edn., Ellis Horwood, Chichester 1988.
• 3. Dixon J.W., Biometrics, 9, 74 (1953).
• 4. Grubbs F.E., Technometrics, 11, 1 (1969).
• 5. Grubbs F.E. and Beck G., Technometrics, 14, 847 (1972).
• 6. Chauvenet W., Method of least squares. Appendix to Manual of Spherical and Practical Astronomy, Vol. 2, Lippincott, Philadelphia 1863, p. 469-566. Reprinted (1960) 5th edn., Dover.
• 7. Doerffel K., Statistik in der analytischen Chemie, VEB, Leipzig 1984. Polish edn., WNT, Warsaw 1989.
• 7. ISO5725. Accuracy (trueness and precision) of measurement methods and results. Part 2: Basic method for determination of repeatability and reproducibility of a standard measurement method, 1994.
• 9. Taylor R.J., An introduction to error analysis, Oxford University Press, Oxford 1982, p. 141. Polish edn. PWN, Warsaw 1995, p. 161.
• 10. Gawłowski J., Zelenay P. and Szklarczyk M., Polish J. Chem., 69, 1046 (1995).
• 11. Abramowicz H., How to assess experimental results, PWN, Warsaw 1992, p. 83.
• 12. Box G.E.P. and Muller M.E., Annals Math. Stat., 29, 610 (1958).
• 13. Rorabacher D.E., Anal. Chem., 63, 139 (1991).
• 14. Analytical Methods Committee, Analyst, 114, 1693 (1989).
• 15. Burr I.W., Applied Statistical Methods, Academic, New York 1974, p. 194.

Uwagi

W bibliografii poz. 8 błędnie oznaczona jako poz. 7 (poz. 7 występuje podwójnie).