Artykuł przedstawia wyniki zrównania ekwicentylowego wyników trzech testów: sprawdzianu oraz części matematyczno-przyrodniczej i części humanistycznej egzaminu gimnazjalnego z lat 2002–2012. W latach 2011–2014 przeprowadzone zostały cztery sesje, podczas których uczniowie z reprezentatywnej próby polskich szkół rozwiązywali arkusze zadań pochodzących ze sprawdzianu w szóstej klasie szkoły podstawowej i egzaminów gimnazjalnych, w warunkach możliwie zbliżonych do rzeczywistej sesji egzaminacyjnej. Dane te posłużyły do oszacowania funkcji zrównujących, które zostały wykorzystane do zrównania wyników rzeczywistych egzaminów. Zrównania przeprowadzone za pomocą metody ekwicentylowej, zrównania liniowego i metod wywodzących się z item reponse theory, dały zbliżone wyniki. Uzyskane rezultaty omówione zostały w kontekście planowania zrównań testów.
EN
The results of equating three exams are presented: (a) primary school exam, (b) lower secondary school mathematics and science exam and (c) the lower secondary school humanities exam from 2002 to 2012 in a study conducted by the Educational Research Institute. During survey session conducted from 2011 to 2014 students from a representative sample of Polish schools took tests containing real items from primary and lower secondary school exams in conditions intended to mirror real exams. The data were used to estimate the equating functions used for real exam scores. Equipercentile equating, linear equating and item response theory based equating methods gave comparable results. The results were discussed in the context of planning for the equating of tests.
Artykuł omawia zagadnienie trafności predykcyjnej ocen szkolnych dla wyników uzyskanych w egzaminach zewnętrznych. Opierając się na ocenach szkolnych i ich średniej, oszacowano stopień, w jakim można było przewidzieć uzyskany przez ucznia wynik na egzaminie gimnazjalnym w latach 2012 i 2013. Ze względu na hierarchiczną strukturę danych, w analizach wykorzystano dwupoziomowy model regresji. Do oszacowania stopnia selekcyjności oddziałów szkolnych w gimnazjum użyto modelowania IRT. Wyniki świadczą o wysokiej mocy predykcyjnej ocen szkolnych i ich średniej, zarówno na poziomie indywidualnym, jak i na poziomie oddziału szkolnego. Współczynniki korelacji wewnątrzklasowej świadczą o wysokim stopniu selekcyjności oddziałów szkolnych. Przedstawione wyniki mają znaczenie w kontekście procesów rekrutacyjnych do szkół ponadgimnazjalnych, zwłaszcza wyboru przez ucznia konkretnego oddziału szkolnego.
EN
The issue of predictive validity of school grades relative to large-scale standardized tests is described. The extent to which the results from standardized external exams at the end of lower secondary school from 2012–2013 can be predicted on the basis of school grading (both single and average grades) was estimated. Due to the hierarchical structure of analysed data, two-level linear regression models were used. In order to estimate the level of class selectivity, IRT modelling was used. The results indicated that single school grades and their averages are very good predictors for standardized test results, both at individual and class levels. Further, intra-class correlation coefficients demonstrated a high degree of class selectivity. The results are practically applicable to high school recruitment, particularly to student choice of class.
Przedmiotem artykułu jest wpływ niepoprawnego określenia rodzaju zadania na trafność wyników egzaminu. W wyniku przeglądu zadań części matematyczno-przyrodniczej egzaminu gimnazjalnego w latach 2002–11 zidentyfikowano 9 zadań uznanych przez CKE za otwarte, mimo że treściowo i psychometrycznie funkcjonowały one jak zamknięte. Dla jednego z tych zadań przeprowadzono studium przypadku z wykorzystaniem modelowania IRT. Omówiony przypadek dowodzi zgadywania poprawnej odpowiedzi w zadaniach błędnie zakwalifikowanych jako zadania otwarte.
EN
The article demonstrates the consequences on validity when test items are misclassified as constructed-response but in fact function as selected-response. From the review of items included in the scientific part of the national exam (2002–11) that concludes 3-year lower secondary school, 9 items, which were classified as constructed-response but functioning in content and psychometrically as selected-response, were identified. One such item was examined in a case study using IRT modelling. The study showed how guessing of correct responses to items might influence test validity when using an incorrectly classified format.
The article presents the methodology and results of a survey on equating the lower secondary school examinations from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent variable scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty variation between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence.
W artykule prezentowane są metodologia oraz rezultaty badania nad zrównaniem wyników egzaminu gimnazjalnego dla lat 2002–2010 przeprowadzonych przez Pracownię Analiz Osiągnięć Uczniów w Instytucie Badań Edukacyjnych. Do badania zrównującego wylosowano ponad 10 tys. uczniów i wykorzystano informacje o ponad 500 zadaniach. Do zrównania wyników egzaminu wykorzystano modele IRT, wyniki przedstawiono na skali zmiennej ukrytej oraz na skali wyników obserwowanych. Dzięki zastosowanej procedurze udało się wyizolować losowe wahania trudności między arkuszami egzaminacyjnymi w poszczególnych latach i przedstawić zmiany w poziomie umiejętności uczniów zdających egzamin gimnazjalny. Na podstawie rezultatów badania można stwierdzić, że poziom umiejętności humanistycznych gimnazjalistów jest stabilny, natomiast poziom umiejętności matematyczno-przyrodniczych wykazał trend spadkowy. W analizie dokonano walidacji zrównywania, porównując przedstawione wyniki z wynikami badania międzynarodowego, porównywalnego w kolejnych cyklach badania PISA. Wyniki dla części humanistycznej wykazują wysoką zbieżność z wynikami PISA dla czytania ze zrozumieniem. W przypadku części matematyczno-przyrodniczej egzaminu, która porównywana była z matematyką w badaniu PISA, zaobserwowano większe różnice pomiędzy rezultatami obydwu badań.
EN
The article presents the methodology and results of a survey on equating the lower secondary school examinations from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent variable scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty variation between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.