Konsekwencje błędnego określenia rodzaju zadania testowego

• Autorzy: Paulina Skórska , Karolina Świst , Henryk Szaleniec

Warianty tytułu

EN

Incorrect classification of item response formats – consequences for test validity

• Języki publikacji: PL

Abstrakty

PL

Przedmiotem artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyniku przeglądu zadań części matematyczno-przyrodniczej egzaminu gimnazjalnego w latach 2002–11 zidentyfikowano 9 zadań uznanych przez CKE za otwarte, mimo że treściowo i psychometrycznie funkcjonowały one jak zamknięte. Dla jednego z tych zadań przeprowadzono studium przypadku z wykorzystaniem modelowania IRT. Omówiony przypadek dowodzi zgadywania poprawnej odpowiedzi w zadaniach błędnie zakwalifikowanych jako zadania otwarte.

EN

The article demonstrates the consequences on validity when test items are misclassified as constructed-response but in fact function as selected-response. From the review of items included in the scientific part of the national exam (2002–11) that concludes 3-year lower secondary school, 9 items, which were classified as constructed-response but functioning in content and psychometrically as selected-response, were identified. One such item was examined in a case study using IRT modelling. The study showed how guessing of correct responses to items might influence test validity when using an incorrectly classified format.

Słowa kluczowe

PL

rodzaj zadania; trafność teoretyczna; trafność treściowa; zadania otwarte; zadania zamknięte

EN

item format; construct validity; content validity; constructed-response item; selected-response item

• Wydawca: Instytut Badań Edukacyjnych
• Czasopismo: Edukacja
• Rocznik: 2014
• Numer: 2(127)
• Strony: 67–84

Daty

wydano

2014-06-30

Twórcy

autor

Paulina Skórska

• Instytut Badań Edukacyjnych

autor

Karolina Świst

• Instytut Badań Edukacyjnych

autor

Henryk Szaleniec

• Instytut Badań Edukacyjnych

Bibliografia

• Ackerman, T. A. i Smith, P. L. (1988). A comparison of the information provided by essay, multiple-choice, and free-response writing tests. Applied Psychological Measurement, 12(2), 117–128.
• AERA, APA i NCME. (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
• Birnbaum, A. (1968). Some latent trait models. W: F. M. Lord i M. R. Novick (red.), Statistical theories of mental test scores (s. 397–472). Reading, MA: Addison–Wesley.
• CKE (2005a). Przygotowanie propozycji pytań, zadań i testów do przeprowadzenia sprawdzianu i egzaminu gimnazjalnego [Niepublikowane procedury ustalone na zebraniu dyrektorów CKE i OKE w dniu 24 listopada 2005 r.].
• CKE (2005b). Egzamin gimnazjalny 2005. Sprawozdanie. Pobrano z http://cke.edu.pl/images/stories/Sprawozdania2005/egzamin%20gimnazjalny%202005%20sprawozdanie.pdf
• CKE (2007). Osiągnięcia uczniów kończących gimnazjum w roku 2007. Sprawozdanie z egzaminu gimnazjalnego 2007. Pobrano z http://cke.edu.pl/images/stories/EGZ_GIMN_07_SPRAW.zip
• CKE (2008).Osiągnięcia uczniów kończących gimnazjum w roku 2008. Sprawozdanie z egzaminu gimnazjalnego 2008. Pobrano z http://cke.edu.pl/images/stories/Egz_gimn_2008_sprawozdanie.rar
• CKE (2009).Osiągnięcia uczniów kończących gimnazjum w roku 2009. Sprawozdanie z egzaminu gimnazjalnego 2009. Pobrano z http://cke.edu.pl/images/stories/Wyniki_09/raport_gimnazjum_2009.pdf
• CKE (2010).Osiągnięcia uczniów kończących gimnazjum w roku 2010. Sprawozdanie z egzaminu gimnazjalnego 2010. Pobrano z http://cke.edu.pl/images/stories/001_Gimnazjum/spr_gimn_2010.pdf
• CKE (2011a). Egzamin w klasie trzeciej gimnazjum z zakresu przedmiotów matematyczno-przyrodniczych (GM-1-112). Pobrano z http://cke.edu.pl/images/stories/0001_Gimnazja_2011/mat/gm-1-112.pdf
• CKE (2011b). Egzamin gimnazjalny 2011 część matematyczno-przyrodnicza. Klucz punktowania zadań. Pobrano z http://www.cke.edu.pl/images/stories/0001_Gimnazja_2011/mat/klucz%20punktowania_1.pdf
• CKE (2011c).Osiągnięcia uczniów kończących gimnazjum w roku 2011. Sprawozdanie z egzaminu gimnazjalnego 2010. Pobrano z http://cke.edu.pl/images/stories/0001_Gimnazja_2011/spr_gim.pdf
• Cronbach, L. J. (1984). Essential of psychological testing (wyd. 4). New York: Harper&Row.
• DeMars, C. E. (2000). Test stakes and item format interactions. Applied Measurement in Education, 13(1), 55–77.
• Downing, S. M. (2009). Written tests: constructed-response and selected-response formats. W: S. M. Downing i R. Yudkowsky (red.), Assessment in Health Professions Education (s. 149–185). New York, NY: Routledge.
• Ebel, R. L. i Frisbie, D. A. (1991). Essentials of educational measurement. Englewood Cliffs, NJ: Prentice Hall.
• Haladyna, T. M., Downing, S.M. i Rodriguez, M. C. (2002). A Review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement In Education, 15(3), 309–334.
• Hambleton, R. K., Swaminathan, H., i Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.
• Han, K. T. (2012). Fixing the c parameter in the three-parameter logistic model. Practical Assessment, Research & Evaluation, 17(1). Pobrano z http://pareonline.net/pdf/v17n1.pdf
• Hayes, J. R., i Flower, L. S. (1980). Identifying the organization of writing processes. W: E. W. Gregg i E. R. Steinberg (red.), Cognitive processes in writing (3–30). Hillsdale, NJ: Lawrence, Erlbaum.
• Hohensinn, C. i Kubinger, K. D. (2011). Applying item response theory methods to examine the impact of different response format. Educational and Psychological Measurement, 71(4), 732–746.
• In’nami, Y., i Koizumi, R. (2009). A meta-analysis of test format effects on reading and listening test performance: Focus on multiple-choice and open-ended formats. Language Testing, 26(2), 219–244.
• Kondratek, B. i Pokropek, A. (2013). IRT i pomiar edukacyjny. Edukacja, 124(4), 42–66.
• Linden, W. J. van der i Hambleton, R. K. (red.). (1997). Handbook of modern item response theory. New York: Springer.
• Lord, F. M. (1974) Estimation of latent ability and item parameters when there are omitted responses. Psychometrika, 39(2), 247–264.
• Maydeu-Olivares, A. (2013). Goodness-of-fit assessment of item response theory models. Measurement: Interdisciplinary Research and Perspective, 11(3), 71–101.
• McKinley, R., i Mills, C. (1985). A comparison of several goodness-of-fit statistics. Applied Psychological Measurement, 9(1), 49–57.
• MEN (1999). Rozporządzenie Ministra Edukacji Narodowej i Sportu z dnia 15 lutego 1999 r. w sprawie podstawy programowej kształcenia ogólnego (Dz.U. 1999 Nr 14, poz. 129). Pobrano z http://isap.sejm.gov.pl/DetailsServlet?id=WDU19990140129
• MEN (2007). Standardy wymagań będące podstawą przeprowadzania egzaminu w ostatnim roku nauki w gimnazjum. Załącznik do rozporządzenia Ministra Edukacji Narodowej z dnia 28 sierpnia 2007 r. (Dz.U. z 2007 r. Nr 157, poz. 1102). Pobrano z http://www.gim-nt.com/download/rozporzadzenie_28082007.pdf
• Neidorf, T. S., Binkley, M., i Stephens, M. (2006). Comparing science content in the National Assessment of Educational Progress (NAEP) 2000 and Trends in International Mathematics and Science Study (TIMSS) 2003 Assessments (NCES 2006–026). Pobrano z http://nces.ed.gov/pubsearch
• Niemierko, B. (1975). ABC Testów osiągnięć szkolnych. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
• Niemierko, B. (1999). Pomiar wyników kształcenia. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.
• OECD (2013). PISA 2012 Assessment and analytical framework: mathematics, reading, science, problem solving and financial literacy. Pobrano z http://dx.doi.org/10.1787/9789264190511-en
• Okręgowa Komisja Egzaminacyjna w Krakowie (bdw.). Zadania egzaminacyjne i ich ocenianie. Pobrano z http://www.oke.krakow.pl/szkolenia/materialy_III.pdf
• Orlando, M. i Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous item response theory models. Applied Psychological Measurement, 24(1), 50–64.
• Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research.
• Rauthmann, J. F. (2011). Not only item content but also item format is important: taxonomizing item format approaches. Social Behavior and Personality, 39(1), 119–128.
• Samejima, F. (1969). Estimation of latent ability using a pattern of graded scores [Psychometric Monograph nr 17]. Richmond, VA: Psychometric Society.
• Szaleniec H. i Dolata R. (2012). Funkcje krajowych egzaminów w systemie edukacji. Polityka Społeczna. Polityka Edukacyjna: szanse i wyzwania. Nr 1 tematyczny, 37–41.
• Tyralska-Wojtycza, E. (2010). Nowa formuła egzaminu gimnazjalnego – strata czy zysk dla przedmiotów przyrodniczych? W: B. Niemierko i K.Szmigel (red.), Teraźniejszość i przyszłość oceniania szkolnego. Materiały z XVI Krajowej Konferencji Diagnostyki Edukacyjnej, Toruń, 22–24.10.2010 r. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.
• Wood, E. (2003). What are extended matching sets questions? BEE-j (1,1). Pobrano z http://bio.ltsn.ac.uk/journal/vol1/beej-1-2.htm

Uwagi

http://www.edukacja.ibe.edu.pl/images/numery/2014/2-5-skorska-i-in-konsekwencje-blednego-okreslania-rodzaju-zadania-testowego.pdf

Identyfikatory

ISSN

0239-6858