The use of the Krippendorff’s coefficient in determining intra-rater reliability in human visual quality control of furniture manufacturing processes

• Autorzy: Śmietańska Katarzyna , Podziewski Piotr

Identyfikatory

DOI

10.5604/01.3001.0013.7689

• Języki publikacji: EN

Abstrakty

EN

The use of the Krippendorff’s Coefficient in determining intra-rater reliability in human visual quality control of furniture manufacturing processes. The article presents the results of research on the effectiveness of human visual quality control of furniture manufacturing processes. The aim of this experiment was to check the inter-rater reliability of three elements: the judge, the instruction of which the quality of individual objects made of laminated MDF was determined and the quality assessment by a human. The Krippendorff’s Coefficient was used as a measure of visual control effectiveness. The results of the experiment showed that the use of human visual quality control of furniture manufacturing processes can be a good solution. The values of all three coefficients K1, K2 and K3 gave alpha> 0.8, which is considered a guarantee of high compliance. Therefore, the tested judge turned out to be reliable and competent, the instructions were clear and sufficient, and the figures obtained were reliable. It turned out that the Krippendorff’s Coefficient values differ depending on the number of categories (for two categories K2 = 0.904, K3 = 0.902; for three categories K1 = 0.849). The way the categories were created did not affect the stability of the assessment. The alpha coefficient can undoubtedly be considered a good, convenient measure of monitoring the reliability of the measurement system, because by giving a specific numerical rating, it allows one to control the effectiveness of implemented improvement actions.

PL

Wykorzystanie współczynnika Krippendorffa do określania wiarygodności oceny ludzkiej w wizualnej kontroli jakości procesów produkcji mebli. W artykule zaprezentowano wyniki badań skuteczności ludzkiej wizualnej kontroli jakości procesów produkcji mebli. Eksperyment miał na celu sprawdzenie wiarygodności ocen wg. trzech elementów: wiarygodności oceniającego sędziego, instrukcji na podstawie której określano jakość poszczególnych przedmiotów wykonanych z laminowanej płyty MDF oraz oceny jakości przez człowieka. Jako miarę skuteczności kontroli wizualnej zastosowano współczynnik Krippendorffa. Wyniki eksperymentu pozwolił stwierdzić, że zastosowanie ludzkiej wizualnej kontroli jakości procesów produkcji mebli może być dobrym rozwiązaniem. Wartości wszystkich trzech współczynników K1, K2 oraz K3 dały alpha > 0,8, co uznaje się za gwarancję wysokiej zgodności. Sędzia JD okazał się, więc osobą rzetelną i kompetentną, zaproponowana instrukcja jasna i wystarczająca, a otrzymane dane liczbowe wiarygodne. Okazało się, że wartości Krippendorff’s Coefficient różnią się w zależności od ilości kategorii (dla dwóch kategorii K2=0,904, K3=0,902; dla trzech kategorii K1=0,849). Sposób tworzenia kategorii nie wpływał na stabilność oceny. Współczynnik alpha można niewątpliwie uznać za dobrą, wygodną miarę monitorowania wiarygodności systemu pomiarowego, gdyż dając konkretną ocenę liczbową, pozwala kontrolować skuteczność wprowadzanych działań doskonalących.

Słowa kluczowe

EN

Krippendorff’s Coefficient; intra-rater reliability; human visual quality control; melamine-faced; MDF; milling

• Wydawca: Wydawnictwo Szkoły Głównej Gospodarstwa Wiejskiego w Warszawie
• Czasopismo: Annals of Warsaw University of Life Sciences - SGGW. Forestry and Wood Technology
• Rocznik: 2019
• Tom: No. 108
• Strony: 97--103
• Opis fizyczny: Bibliogr. 22 poz., rys.

Twórcy

autor

Śmietańska Katarzyna

• Department of Mechanical Processing of Wood, Faculty of Wood Technology, Warsaw University of Life Sciences– SGGW

autor

Podziewski Piotr

• Department of Mechanical Processing of Wood, Faculty of Wood Technology, WarsawUniversity of Life Sciences– SGGW

Bibliografia

• 1. COHEN, J. (1960). “A coefficient of agreement for nominal scales”, Educational and Psychological Measurement 20, pp. 37–46.
• 2. DRURY, C.G., KARWAN, M., VANDERVARKER, D.R. (1986). “The TwoInspector Problem”, IIE Transactions 18(2), pp. 174–181.
• 3. FLEISS, J. L. (1971). “Measuring nominal scale agreement among many raters”, Psychological Bulletin 76(5), pp. 378–382.
• 4. GIESKO, T., MAZURKIEWICZ, A., ZBROWSKI, A. (2011). “Optomechatroniczny system do automatycznej kontroli jakości wyrobów w przemyśle”, Problemy eksploatacji 4, pp. 103–114 (http://yadda.icm.edu.pl/yadda/element/bwmeta1.element.baztech-article-BAR0- 00600085 pdf]).
• 5. HAMROL, A. (2007). Zarządzanie jakością z przykładami. PWN, Warszawa.
• 6. HAMROL, A., KOWALIK, D., KUJAWIŃSKA, A. (2011). “Impact of Selected Work Condition Factors on Quality of Manual Assembly”, Human Factors and Ergonomics In Manufacturing 21(2), pp. 156–162.
• 7. HAYES, A.F., KRIPPENDORFF, K. (2007). “Answering the Call for a Standard Reliability Measure for Coding Data”, Communication Methods and Measures 1(1), pp. 77–89.
• 8. HOLSTI, O. R. (1969). Content analysis for the social sciences and humanities. Reading, MA: AddisonWesley.
• 9. KREJTZ, K., KREJTZ, I. (2005). “Rzetelność w analizie treści”, pp. 217–230 in: Stemplewska-Żakowicz, K., Krejtz, K. (red.) Wywiad psychologiczny. Wywiad jako postępowanie badawcze (2005), Pracownia testów psychologicznych polskiego towarzystwa psychologicznego, Warszawa.
• 10. KREJTZ, K., KREJTZ, I. (2005). “Wybrane statystyki zgodności miedzy sędziami w analizie treści”, pp. 231–249 In: Stemplewska-Żakowicz K., Krejtz K. (red.) Wywiad psychologiczny. Wywiad jako postępowanie badawcze (2005), Pracownia testów psychologicznych polskiego towarzystwa psychologicznego, Warszawa
• 11. KRIPPENDORff, K. (2004). “Reliability in Content Analysis: Some Common Misconceptions and Recommendations”, Human Communication Research 30(3), pp. 411–433.
• 12. KRIPPENDORFF, K. (2004). Content analysis: An introduction to its methodology. Second Edition. Thousand Oaks, London, New Delhi: SAGE Publications.
• 13. KRIPPENDORFF, K. (2011). “Computing Krippendorff’s Alpha-Reliability”, fromhttp://repository.upenn.edu/asc_papers/43.
• 14. KRIPPENDORFF, K. (1980). “Validity in Content Analysis”, Computerstrategien fur die Kommunikationsanalyse 3, pp. 69–112.
• 15. LOMBARD, M., SNYDER-DUCH, J., & BRACKEN, C.C. (2002). “Content analysis in mass communication research: An assessment and reporting of intercoder reliability”, Human Communication Research 28, pp. 587–604.
• 16. NEUENDORF, K. A. (2002). The content analysis guidebook. SAGE Publications, Thousand Oaks.
• 17. SCOTT, W.A. (1955). “Reliability of content analysis: The case of nominal scale coding”, Public Opinion Quarterly 19(3), pp. 321–325.
• 18. SCOTT, W. A. (1955). “Scott’s π (Pi). Reliability for nominal scale coding”, pp. 347– 349 In: Krippendorff, K., Bock, M.A. The Content Analysis Reader (2009), Los Angeles, London, New Delhi, Singapore.