W artykule przedstawione zostały podstawowe kategorie modeli psychometrycznych, które mogą zostać zastosowane w diagnostycznym pomiarze edukacyjnym. Szczególną uwagę poświęcono nowej dla polskiego pomiaru edukacyjnego kategorii modeli określanej mianem „statystycznych modeli diagnostycznych” lub „kognitywnych modeli diagnostycznych”. W artykule szczegółowo opisany został jeden z modeli diagnostycznych: DINA, a następnie pokazano jego zastosowanie na polskich danych uzyskanych na egzaminie gimnazjalnym w części matematyczno-przyrodniczej. Artykuł pokazuje korzyści płynące z nowego podejścia, jak również problemy związane z jego implementacją dla diagnozy edukacyjnej.
EN
In this article basic types of psychometric models useful in diagnostic educational measurement are presented. Particular attention is paid to a new measurement category for Polish educational psychometric models, referred to as statistical diagnostic models or cognitive diagnostic models. One of the cognitive diagnostic models: DINA was described and applied to Polish examination data (the mathematics part of the upper secondary mathematical-science exam). The article shows the benefits and limitations of the approach as an educational diagnostic measurement.
Item response theory (IRT) is a family of statistical tools used to model relationships between item response and student ability. IRT models achieve this by parameterisation of item properties and distribution of the ability variable among students. This article presents a general introduction to the unidimensional IRT model, the most commonly used for dichotomously scored items (1PLM, 2PLM, 3PLM). Polytomously scored items and student ability estimation are also described. This article aims at introducing the reader to the technical aspects of IRT modelling in educational measurement and presents a range of practical applications. The article describes the analysis of complex research designs, test linking and equating, adaptive testing and item mapping as examples.
PL
Pod nazwą „item response theory” kryje się rodzina narzędzi statystycznych wykorzystywanych do modelowania odpowiedzi na rozwiązywane zadania oraz umiejętności uczniów. Modele IRT czynią to poprzez wprowadzenie parametryzacji, która określa: właściwości zadań oraz rozkład poziomu umiejętności uczniów. W artykule przedstawiony zostanie ogólny opis jednowymiarowego modelu IRT, przybliżone zostaną najczęściej stosowane modele dla zadań ocenianych dwupunktowo (2PLM, 3PLM, 1PLM) oraz wielopunktowo (GPCM), a także zarysowana zostanie problematyka estymacji poziomu umiejętności. Artykuł ma za zadanie wprowadzić czytelnika w techniczne szczegóły związane z modelowaniem IRT oraz przedstawić wybrane zastosowania praktyczne w pomiarze edukacyjnym. Wśród zastosowań praktycznych omówiono wykorzystanie IRT w analizie skomplikowanych schematów badawczych, zrównywaniu/łączeniu wyników testowych, adaptatywnym testowaniu oraz przy tworzeniu map zadań.
Dojrzałe systemy testowania oraz większość nowopowstałych zawierają mechanizmy pozwalające na zrównywanie wyników z różnych sesji testowych w celu kontrolowania różnic w poziomie trudności różnych wersji testu. Artykuł przedstawia definicje zrównywania wyników wraz z przeglądem podstawowych planów zbierania danych stosowanych przy zrównywaniu. W celu ukazania podstawowych trendów w metodologii zrównywania testów na świecie przedstawiono 11 przykładowych systemów testowania, w których przeprowadzanie zrównywania jest wpisane w proces konstrukcji i raportowania wyników testu. Każdy test pokrótce omówiono i wskazano mechanizmy umożliwiające zrównywanie. Przegląd testów podzielono na trzy części w zależności od zastosowań badania testowego: narodowe systemy egzaminacyjne (SAT, ACT, PET, SweSAT), międzynarodowe systemy ewaluacyjne (TIMMS, PIRLS, PISA) oraz narodowe systemy ewaluacyjne (NAEP, EQAO, NAPLAN, NABC).
EN
Long established testing systems as well as most modern testing systems employ mechanisms to allow equating of scores from different testing sessions in order to control for differences in test difficulty. This article introduces a detailed definition of the term test equating together with an overview of main equating designs. In order to illustrate the basic trends in applying the methodology of test equating, 11 testing systems from around the world that use equating are presented. Each test is briefly described with special attention paid to the mechanisms for equating that are employed. The testing systems overview is divided into three sections depending on the test system characteristics, high stakes examination systems (SAT, ACT, PET, SweSAT), international evaluation studies (TIMMS, PIRLS, PISA) and national evaluation studies (NAEP, EQAO, NAPLAN, NABC).
There are many arguments for the thesis according to which political views become “separated” from social structure, but there is also substantial evidence that the relation between them continues to exist and is not changing significantly over time. We refer to certain aspects of this process, using European Social Survey data of the years 2002-2010. The subject of our analysis is strength of the relation between voters’ preferences and electoral participation on the one hand and age, religion, immigration status and position in social hierarchy on the other in several countries in the indicated period. Our analysis results in the conclusion that political systems have a rather stable footing in social structure. In particular, there is no indication that in the years 2002-2010 the impact of social class on voters’ preferences was diminishing. Although class position is a relatively weak indicator of voters’ attitude, but the influence of religion, immigration and age is weaker still, even though these are taken to be the indicators of “new” social divisions, which supposedly blur traditional voting identities.
The article presents the methodology and results of a survey on equating the lower secondary school examinations from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent variable scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty variation between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence.
W artykule prezentowane są metodologia oraz rezultaty badania nad zrównaniem wyników egzaminu gimnazjalnego dla lat 2002–2010 przeprowadzonych przez Pracownię Analiz Osiągnięć Uczniów w Instytucie Badań Edukacyjnych. Do badania zrównującego wylosowano ponad 10 tys. uczniów i wykorzystano informacje o ponad 500 zadaniach. Do zrównania wyników egzaminu wykorzystano modele IRT, wyniki przedstawiono na skali zmiennej ukrytej oraz na skali wyników obserwowanych. Dzięki zastosowanej procedurze udało się wyizolować losowe wahania trudności między arkuszami egzaminacyjnymi w poszczególnych latach i przedstawić zmiany w poziomie umiejętności uczniów zdających egzamin gimnazjalny. Na podstawie rezultatów badania można stwierdzić, że poziom umiejętności humanistycznych gimnazjalistów jest stabilny, natomiast poziom umiejętności matematyczno-przyrodniczych wykazał trend spadkowy. W analizie dokonano walidacji zrównywania, porównując przedstawione wyniki z wynikami badania międzynarodowego, porównywalnego w kolejnych cyklach badania PISA. Wyniki dla części humanistycznej wykazują wysoką zbieżność z wynikami PISA dla czytania ze zrozumieniem. W przypadku części matematyczno-przyrodniczej egzaminu, która porównywana była z matematyką w badaniu PISA, zaobserwowano większe różnice pomiędzy rezultatami obydwu badań.
EN
The article presents the methodology and results of a survey on equating the lower secondary school examinations from 2002–2010. The survey was carried out by the Student Performance Analysis Unit at the Educational Research Institute. More than 10 000 students were selected for the equating study and information about more than 500 items was used. IRT models were used for equating exams, the results were presented on a latent variable scale and the observed score scale. Using this procedure, it was possible to isolate random difficulty variation between exam papers from specific years and present changes in ability level of students taking the exam. Based on the results, the level of humanities abilities of lower secondary school leavers was stable, whilst maths and science demonstrated a downward trend. Equating was validated by comparison with the results of the international PISA survey. Results for the arts and humanities were consistent with the PISA results for reading literacy. Maths and science, as compared with the PISA survey maths section demonstrated greater divergence.
Z badań prowadzonych w niektórych krajach wynika, że wybór ścieżki kształcenia może być silniej związany ze zdolnościami uczniów niż z pochodzeniem społecznym. O szansach przechodzenia, czy to do zasadniczej szkoły zawodowej, czy do liceum ogólnokształcącego bardziej decydują wyniki testów psychologicznych niż to, kim byli rodzice. Celem naszej analizy jest ustalenie tego dla Polski. Posługując się danymi z badań panelowych postaramy się stwierdzić, w jakim stopniu zdolności uczniów oddziałują na szanse przechodzenia do szkół średnich i wyższych. Nasze ustalenia wskazują, że niezależnie od pochodzenia społecznego wyższe umiejętności zapewniają więcej szans dostępu do szkół licealnych, najwyżej lokowanych na pierwszym progu selekcji, w porównaniu z technikami i szkołami zawodowymi. Poziom umiejętności jest również istotnym wyznacznikiem szans przechodzenia na studia i różnicuje dostęp do różnych rodzajów uczelni, zapewniając największe szanse podjęcia studiów bezpłatnych w uczelniach państwowych, cieszących się najwyższym prestiżem. Równocześnie, występowanie różnych ścieżek kształcenia jest czynnikiem wzmacniającym bariery selekcji. Absolwenci liceów najczęściej podejmują naukę w uczelniach bezpłatnych, podczas gdy szkoły prowadzone w trybie niestacjonarnym, przyjmujące kandydatów ze słabszymi wynikami i pobierające opłaty, relatywnie częściej przyciągają absolwentów techników.
EN
Research on educational inequalities disclosed that educational choices may be more strongly affected by students’ abilities than by class membership of their fathers. The purpose of this analysis is to establish how these relationships look like in Poland. By using data from panel studies 2014 we attempt to establish to what extent the abilities affect chances of transition to secondary and tertiary schools. According to our findings, higher abilities increase chances of access to lyceums offering general education than to technical secondary and basic vocational schools. The cognitive skills also increase the chances of transition to tertiary education, differentiating access to public universities, which enjoy the highest prestige. Level of cognitive skills is an important determinant of transition to tertiary education and it affects entry to various types of universities, providing the greatest chances of enrolment in freeof-charge public universities. At the same time, our findings confirm that choosing different tracks maintains class divisions in educational career. Graduates of lyceums are more likely to enroll in free-of-charge public universities whereas institutions which offer part-time programs, accept candidates with poorer scores, and charge tuition, are more likely to attract graduates of technical secondary schools.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.