Modele oceny stopnia zgody pomiędzy dwoma ekspertami z wykorzystaniem współczynników kappa

• Autorzy: Jarosz-Nowak J.

Warianty tytułu

EN

Models of assessing the extent of agreement beteween raters using kappa coefficients

• Języki publikacji: PL

Abstrakty

PL

Praca dotyczy modeli oszacowania stopnia zgody pomiędzy dwoma ekspertami oceniającymi te same obiekty. Rozważamy konstrukcję miar służących oszacowaniu poziomu zgodności oraz konteksty interpretacyjne otrzymanych wyników. W pracy rozpatrujemy również powiązania pomiędzy współczynnikami zdefiniowanymi w modelach o dwóch i więcej dopuszczalnych kategorii ocen. Analiza poziomu zgody prowadzi do ilościowego ujęcia z wykorzystaniem współczynników kappa Cohena oraz Scotta. Pokażemy, że te heurystyczne propozycje w odpowiednio zdefiniowanych modelach dychotomicznych pokrywają się z estymatorami największej wia-rogodności. Równocześnie wykażemy, że rozwinięcie metod dla modeli z większą niż dwa liczbą kategorii możliwe jest poprzez ważone uśrednienie współczynników kappa określonych w modelach binarnych wyznaczonych dla każdej kategorii oddzielnie.

EN

In medical studies quality of assessment is of great importance. Typically it is characterized by reliability. A fundamental sense of interobserver reliability is to evaluate a degree of agreement between independent judges examining the same objects. The paper is an evaluation of some interrater reliability measures and their interpretation. Cohen's kappa and Scott's coefficient are considered. We describe models and connections between coefficients defined for dichotomous and politomous data. We show that abovementioncd estimators of kappa for classification into more than 2 categories are weighted averages of kappas in binary models defined for each category separately.

Słowa kluczowe

PL

zgodność; współczynnik kappa Cohena; współczynnik kappa Scotta

EN

agreement; Cohen's kappa; Scott's coefficient

• Wydawca: Polskie Towarzystwo Matematyczne
• Czasopismo: Matematyka Stosowana : matematyka dla społeczeństwa
• Rocznik: 2007
• Tom: Nr 8
• Strony: 126--154
• Opis fizyczny: bibliogr. 22 poz.

Twórcy

autor

Jarosz-Nowak J.

• Instytut Matematyki i Informatyki, Politechnika Wrocławska Wyb. Wyspiańskiego 27, 50-370 Wrocław,

Bibliografia

• [1] D.A. Bloch and H.Ch. Kraemer, 2x2 Kappa Coefficients: Measures of Agreement or Association Biometrics, 45:269 - 287, 1989.
• [2] T. Byrt, J. Bishop, and J.B. Carlin, Bias, prevalence and kappa, Journal of Clinical Epidemiology, 46(5):423 - 429, 1993.
• [3] D.V. Cicchetti and A.R. Feinstein, High Agreement but low kappa: II. Resolving the paradoxes, Journal of Clinical Epidemiology, 43(6):551 - 558, 1990.
• [4] D.V. Cicchetti, F. Volkmar, S.S. Sparrow, and D. Cohen, Assessing the Reliability of Clinical Scales When the Data Have Both Nominal and Ordinal Features: Proposed guidelines forneur opsychological assessments, Journal of Clinical and Experimantal Neuropsychology, 14(5):673 - 686, 1992.
• [5] J. Cohen. A Coefficient of Agreement for Nominal Scales, Educational and Psychological Measurement, 20(1):37 - 46, 1960.
• [6] P.E. Crewson, A Correction for Unbalanced Kappa Tables SAS 6.12, Proceedings of the 26-th Annual SAS Users Group International Conference, 194:1 - 3, 2001.
• [7] A.R. Feinstein and D.V. Cicchetti, High Agreement but low kappa: I. The problems of two paradoxes, Journal of Clinical Epidemiology, 43(6):543 - 549, 1990.
• [8] J.L. Fleiss, B. Levin, and M.C. Paik, Statistical Methods for Raters and Proportions. Wiley and Sons, Third edition, 2003.
• [9] I. Guggenmoos-Holzman, How reliable are chance-corrected measures of agreement?, Statistics in Medicine, 12:2191 - 2205, 1993.
• [10] K. Gwet, Computing Inter-rater reliability with the SAS system, Statistical Methods For Inter-Rater Reliability Assessment, 3:1 - 16, 2002.
• [11] K. Gwet, Inter-Rater Reliability: Dependency on Trait Prevalence and Marginal Homogenity, Statistical Methods For Inter-Rater Reliability Assessment, 2:1 - 9, 2002.
• [12] K. Gwet, Kappa Statistic is not Satisfactory for Assessing the Extent of Agreement Between Raters, Statistical Methods For Inter-Rater Reliability Assessment, 1:1 - 6, 2002.
• [13] F.K. Hoehler, Bias and prevalence effects on kappa viewed in terms of sensitivity and specificity, Journal of Clinical Epidemiology, 53:499 - 503, 2000.
• [14] J. Jarosz-Nowak, On same methods of assessment of interrater reliability for nominal and ordinal scale, Prace naukowe Instytutu Matematyki Politechniki Wrocławskiej "II Konferencja dla Młodych Matematyków Zastosowania Matematyki, Lądek Zdrój 2001", 25(4):41 - 49, 2003.
• [15] J. Jarosz-Nowak, Modified kappa as a measure of interrater agreement, Proceedings of the Tenth National Conference on Application of Mathematics in Biology and Medicine, Święty Krzyż, Poland, pages 79 - 83, 2004.
• [16] J.R. Landis and G.G. Koch, The Measurement of Observer Agreement for Categorical Data Biometrics, 33:159 - 174, 1977.
• [17] Ch.A. Lantz and E. Nebenzahl, Behaviorand Interpretation of the κ Statistics: Resolution of the Two Paradoxes, Journal of Clinical Epidemiology, 49(4):431 - 434, 1996.
• [18] H. Liu and R.D. Hays, Measurement of Interrater Agreement A SAS/IML Macro Kappa Procedure for Handling Incomplete Data, Proceedings of the 24-th Annual SAS Users Group International Conference, 280:1620 - 1625, 1999.
• [19] M. Maclure and W.C. Willett, Misinterpretation and misuse of the kappa statistic, American Journal of Epidemiology, 126(2):161 - 169, 1987.
• [20] J.M. Sargeant and S.W. Martin, The dependence of kappa on attribute pevalence when assessing the repeatability of questionnaire data, Preventive Veterinary Medicine, 34:115 - 123, 1998.
• [21] W.A. Scott, Reliability of Content Analysis: The Case of Nominal Scale Coding, The Public Opinion Quarterly, 19(3):321 - 325, 1955.
• [22] W.D. Thompson and S.D. Walter, A reappraisal of the kappa coefficient, Journal of Clinical Epidemiology, 41(10):949 - 958, 1988.